当前位置:  开发笔记 > 大数据 > 正文

如何区分火花中的操作是转换还是动作?

如何解决《如何区分火花中的操作是转换还是动作?》经验,为你挑选了1个好方法。

我最近倾向于火花,并对火车信息和行动操作感到困惑.我阅读了spark文档和一些关于spark的书,我知道动作会导致在集群中执行spark jon,而转换则不会.但是在spark的api doc中列出的rdd的操作并没有说明它是一个transforamtion还是一个action操作.

例如,reduce是一个动作,另一方面reduceByKey是一个转换!为什么会这样呢.



1> Justin Pihon..:

你可以通过查看返回类型来判断.一个动作将返回一个非RDD类型(通常是你的存储值类型),而一个转换将返回一个,RDD[Type]因为它仍然只是你的计算的一种表示.

推荐阅读
拾味湖
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有