我DataFrame在PSspark中有以下格式
Date Id Name Hours Dno Dname 12/11/2013 1 sam 8 102 It 12/10/2013 2 Ram 7 102 It 11/10/2013 3 Jack 8 103 Accounts 12/11/2013 4 Jim 9 101 Marketing
我想做基于分区的分区,dno并使用Parquet格式保存为Hive中的表.
df.write.saveAsTable(
'default.testing', mode='overwrite', partitionBy='Dno', format='parquet')
该查询工作正常,并在Hive中使用Parquet输入创建了表.
现在我想根据日期列的年份和月份进行分区.时间戳是Unix时间戳
我们怎样才能在PySpark中实现这一目标.我已经在蜂巢中完成了它但无法做到PySpark
只需提取您要使用的字段,并提供列列表作为编写器的参数partitionBy.如果timestampUNIX时间戳以秒表示:
df = sc.parallelize([
(1484810378, 1, "sam", 8, 102, "It"),
(1484815300, 2, "ram", 7, 103, "Accounts")
]).toDF(["timestamp", "id", "name", "hours", "dno", "dname"])
添加列:
from pyspark.sql.functions import year, month, col
df_with_year_and_month = (df
.withColumn("year", year(col("timestamp").cast("timestamp")))
.withColumn("month", month(col("timestamp").cast("timestamp"))))
和写:
(df_with_year_and_month
.write
.partitionBy("year", "month")
.mode("overwrite")
.format("parquet")
.saveAsTable("default.testing"))
京公网安备 11010802040832号 | 京ICP备19059560号-6 