当前位置:  开发笔记 > 前端 > 正文

使用sqlContext将JSON结构转换为Map [String,String]

如何解决《使用sqlContext将JSON结构转换为Map[String,String]》经验,为你挑选了0个好方法。

我正在尝试在Spark Streaming作业中读取JSON数据。默认情况下sqlContext.read.json(rdd),将所有映射类型转换为结构类型。

|-- legal_name: struct (nullable = true)
 |    |-- first_name: string (nullable = true)
 |    |-- last_name: string (nullable = true)
 |    |-- middle_name: string (nullable = true)

但是当我使用sqlContext从蜂巢表中读取时

val a = sqlContext.sql(“ select * from student_record”)

下面是架构。

|-- leagalname: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)

有什么方法可以读取read.json(rdd)和使用Map数据类型?

有没有类似的选择 spark.sql.schema.convertStructToMap

任何帮助表示赞赏。

推荐阅读
喜生-Da
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有