当前位置:  开发笔记 > 编程语言 > 正文

如何在Python中解压缩RDD中每个项目的值(列表)?

如何解决《如何在Python中解压缩RDD中每个项目的值(列表)?》经验,为你挑选了1个好方法。

我有一个RDD,每个项目都是表格

(key, [ele1, ele2, ele3, ..., elen])

每个项目都是一个键值对,值是一个元素列表.

我想解压缩列表,以便我可以创建一个新的RDD,每个项目包含一个元素,如下所示:

(key, ele1)
(key, ele2)
(key, ele3)
.
.
.
(key, ele4)

我怎么能在PySpark中做到这一点?

我试过了

RDD.flatmap(lambda line: line[1]) 

但这不起作用.



1> timgeb..:

比如这个?我使用str元素来简化.

>>> rdd = sc.parallelize([('key', ['ele1', 'ele2'])])
>>> rdd.flatMap(lambda data: [(data[0], x) for x in data[1]]).collect()
[('key', 'ele1'), ('key', 'ele2')]


这是一个错字 - "flatmap"!=`flatMap`.
推荐阅读
赛亚兔备_393
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有