当前位置:  开发笔记 > 大数据 > 正文

从数据框spark中删除列

如何解决《从数据框spark中删除列》经验,为你挑选了1个好方法。

我有一个Spark数据帧,其列数非常滞后我想从中删除两列以获得新的数据帧

如果列数较少,我可以使用API​​中的select方法

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

但是,从长列表中选择列是一项繁琐的工作,是否有解决方法.



1> 小智..:

使用drop方法和withColumnRenamed方法.

例:

    val initialDf= ....

    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")

    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")


为什么要重命名列?
推荐阅读
个性2402852463
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有