当前位置:  开发笔记 > 编程语言 > 正文

如何通过pyspark以gzip格式保存spark RDD

如何解决《如何通过pyspark以gzip格式保存sparkRDD》经验,为你挑选了1个好方法。
如何解决《如何通过pyspark以gzip格式保存sparkRDD》经验,为你挑选了1个好方法。



1> zero323..:

saveAsTextFile method接受一个指定压缩编解码器类的可选参数:

help_data.repartition(5).saveAsTextFile(
    path="s3://help-test/logs/help",
    compressionCodecClass="org.apache.hadoop.io.compress.GzipCodec"
)

推荐阅读
夏晶阳--艺术
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有