当前位置:  开发笔记 > 编程语言 > 正文

如何在pyspark中查看RDD中每个分区的内容?

如何解决《如何在pyspark中查看RDD中每个分区的内容?》经验,为你挑选了1个好方法。
如何解决《如何在pyspark中查看RDD中每个分区的内容?》经验,为你挑选了1个好方法。



1> Bovard..:

该格莱姆教授功能是你在找什么:

glom(self):返回通过将每个分区中的所有元素合并为一个列表而创建的RDD.

a = sc.parallelize(range(10), 5)
a.glom().collect()
#output:[[0, 1], [2, 3], [4, 5], [6, 7], [8, 9]]

推荐阅读
个性2402852463
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有