4赞

如何通过pyspark以gzip格式保存spark RDD

作者：夏晶阳--艺术 | 2023-09-10 16:04

如何解决《如何通过pyspark以gzip格式保存sparkRDD》经验，为你挑选了1个好方法。

1> zero323..：

saveAsTextFile method接受一个指定压缩编解码器类的可选参数:

help_data.repartition(5).saveAsTextFile(
    path="s3://help-test/logs/help",
    compressionCodecClass="org.apache.hadoop.io.compress.GzipCodec"
)

推荐阅读

程序员
无法在Windows上安装python lxml(和libxml2)

如何解决《无法在Windows上安装pythonlxml(和libxml2)》经验，为你挑选了1个好方法。 ... [详细]
程序员
在基本模板中向<body>添加类的DRY方法？

如何解决《在基本模板中向<body>添加类的DRY方法？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何从整数序列构造String实例？

如何解决《如何从整数序列构造String实例？》经验，为你挑选了1个好方法。 ... [详细]
程序员
GraphQL Schema处理混合类型

如何解决《GraphQLSchema处理混合类型》经验，为你挑选了0个好方法。 ... [详细]
程序员
日期上的dplyr过滤器

如何解决《日期上的dplyr过滤器》经验，为你挑选了2个好方法。 ... [详细]
程序员
如何将Azure Search的@ search.score作为自定义$ orderby子句的一部分

如何解决《如何将AzureSearch的@search.score作为自定义$orderby子句的一部分》经验，为你挑选了1个好方法。 ... [详细]
程序员
奥尔良集群沟通

如何解决《奥尔良集群沟通》经验，为你挑选了1个好方法。 ... [详细]
程序员
锚点href与角度路线链接

如何解决《锚点href与角度路线链接》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在Objective-c中使用SafariViewController？

如何解决《如何在Objective-c中使用SafariViewController？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在bash for循环中内联一个字符串数组？

如何解决《如何在bashfor循环中内联一个字符串数组？》经验，为你挑选了1个好方法。 ... [详细]
程序员
R返回行名称的部分匹配

如何解决《R返回行名称的部分匹配》经验，为你挑选了0个好方法。 ... [详细]
程序员
Pandas Plot,如何控制条宽和间隙

如何解决《PandasPlot,如何控制条宽和间隙》经验，为你挑选了1个好方法。 ... [详细]
程序员
匈牙利算法具有不等数量的工人和任务

如何解决《匈牙利算法具有不等数量的工人和任务》经验，为你挑选了0个好方法。 ... [详细]
程序员
返回CompletableFuture <Void>或CompletableFuture <？>？

如何解决《返回CompletableFuture<Void>或CompletableFuture<？>？》经验，为你挑选了4个好方法。 ... [详细]
程序员
EasyMock中的".andReturn(...).anyTimes()"和".andStubReturn(...)"之间有什么区别吗？

如何解决《EasyMock中的".andReturn().anyTimes()"和".andStubReturn()"之间有什么区别吗？》经验，为你挑选了1个好方法。 ... [详细]
程序员
在任何画布形状周围绘制外边框和内边框

如何解决《在任何画布形状周围绘制外边框和内边框》经验，为你挑选了1个好方法。 ... [详细]
程序员
带有textMultiLine的EditText不起作用

如何解决《带有textMultiLine的EditText不起作用》经验，为你挑选了1个好方法。 ... [详细]
程序员
寻找在ISS-UI AATS 2016站点上使用的示例IRS AIR XML文件

如何解决《寻找在ISS-UIAATS2016站点上使用的示例IRSAIRXML文件》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何正确找到Heisenbug？

如何解决《如何正确找到Heisenbug？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何读取用R加密的.xls文件？

如何解决《如何读取用R加密的.xls文件？》经验，为你挑选了1个好方法。 ... [详细]

夏晶阳--艺术

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章