如何在DataFrame Spark 1.6中加载特定的Hive分区？

要使用Spark 1.6在DataFrame中添加特定分区,我们必须执行以下第一个设置basePath,然后提供需要加载的分区路径

DataFrame df = hiveContext.read().format("orc").
               option("basePath", "path/to/table/").
               load("path/to/table/entity=xyz")

因此,上面的代码只会加载DataFrame中的特定分区.

要使用Spark 1.6在DataFrame中添加特定分区,我们必须执行以下第一个设置basePath,然后提供需要加载的分区路径

DataFrame df = hiveContext.read().format("orc").
               option("basePath", "path/to/table/").
               load("path/to/table/entity=xyz")

因此,上面的代码只会加载DataFrame中的特定分区.