我有一个RDD,每个项目都是表格
(key, [ele1, ele2, ele3, ..., elen])
每个项目都是一个键值对,值是一个元素列表.
我想解压缩列表,以便我可以创建一个新的RDD,每个项目包含一个元素,如下所示:
(key, ele1) (key, ele2) (key, ele3) . . . (key, ele4)
我怎么能在PySpark中做到这一点?
我试过了
RDD.flatmap(lambda line: line[1])
但这不起作用.
比如这个?我使用str
元素来简化.
>>> rdd = sc.parallelize([('key', ['ele1', 'ele2'])]) >>> rdd.flatMap(lambda data: [(data[0], x) for x in data[1]]).collect() [('key', 'ele1'), ('key', 'ele2')]