在YARN-Cluster模式下运行时找不到Hive表

我在Hortonworks社区发布了同样的问题,我在这个答案的帮助下解决了这个问题.

它的要点是:在提交应用程序时,--files参数必须在参数之前--jars,并且hive-site.xml要使用的副本是Spark conf目录中的副本,而不是$HIVE_HOME/conf/hive-site.xml.因此:

  ./bin/spark-submit \
  --class com.myCompany.Main \
  --master yarn-cluster \
  --num-executors 3 \
  --driver-memory 1g \
  --executor-memory 11g \
  --executor-cores 1 \
  --files /usr/hdp/current/spark-client/conf/hive-site.xml \
  --jars lib/datanucleus-api-jdo-3.2.6.jar,lib/datanucleus-rdbms-3.2.9.jar,lib/datanucleus-core-3.2.10.jar \
  /home/spark/apps/YarnClusterTest.jar