计算Spark DataFrame中的非空值的数量

如何汇总每列的非空数并返回具有相同列数的数据帧,只返回一行的答案？

一个直接的选项是使用.describe()函数来获取数据框的摘要,其中count行包含非空值的计数:

df.describe().filter($"summary" === "count").show
+-------+---+---+---+
|summary|  x|  y|  z|
+-------+---+---+---+
|  count|  1|  2|  3|
+-------+---+---+---+

尽管我喜欢Psidoms的答案，但通常我对空值的分数更感兴趣，因为仅非空值的数量并不能说明很多问题。

您可以执行以下操作：

import org.apache.spark.sql.functions.{sum,when, count}

df.agg(
   (sum(when($"x".isNotNull,0).otherwise(1))/count("*")).as("x : fraction null"),
   (sum(when($"y".isNotNull,0).otherwise(1))/count("*")).as("y : fraction null"),
   (sum(when($"z".isNotNull,0).otherwise(1))/count("*")).as("z : fraction null")
 ).show()

编辑：sum(when($"x".isNotNull,0).otherwise(1))也可以仅由count($"x")非空值代替。因为我发现这并不明显，所以我倾向于使用sum更清晰的表示法