无论密钥如何,Spark总结值

我的元组列表如下所示:

Tup = [(u'X45', 2), (u'W80', 1), (u'F03', 2), (u'X61', 2)]

我想在所有值上加总,在这种情况下, 2+1+2+2=7

Tup.reduceByKey()如果键是相同的,我可以在spark 中使用.但是,无论密钥如何,我可以在spark中使用哪个函数来汇总所有值？

我试过了,Tup.sum()但它给了我(u'X45', 2, u'W80', 1, u'F03', 2, u'X61', 2)

BTW由于大型数据集,我想在RDD概括起来讲,所以我不使用Tup.collect()和sum它出星火的.

这很简单.

从概念上讲,您应首先映射原始RDD并提取第二个值.然后总结那些

在斯卡拉

val x = List(("X45", 2), ("W80", 1), ("F03", 2), ("X61", 2))
val rdd = sc.parallelize(x)
rdd.map(_._2).sum()

在Python中

x = [(u'X45', 2), (u'W80', 1), (u'F03', 2), (u'X61', 2)]
rdd = sc.parallelize(x)
y = rdd.map(lambda x : x[1]).sum()

在这两种情况下,打印7的总和.