我正在尝试在Spark Streaming作业中读取JSON数据。默认情况下sqlContext.read.json(rdd)
,将所有映射类型转换为结构类型。
|-- legal_name: struct (nullable = true) | |-- first_name: string (nullable = true) | |-- last_name: string (nullable = true) | |-- middle_name: string (nullable = true)
但是当我使用sqlContext从蜂巢表中读取时
val a = sqlContext.sql(“ select * from student_record”)
下面是架构。
|-- leagalname: map (nullable = true) | |-- key: string | |-- value: string (valueContainsNull = true)
有什么方法可以读取read.json(rdd)
和使用Map数据类型?
有没有类似的选择
spark.sql.schema.convertStructToMap
?
任何帮助表示赞赏。