当前位置:  开发笔记 > 运维 > 正文

在yarn-standalone模式下运行spark-class,并在src文件系统上更改文件时出错

如何解决《在yarn-standalone模式下运行spark-class,并在src文件系统上更改文件时出错》经验,为你挑选了0个好方法。

我刚开始使用Spark 0.9在纱线独立模式下进行编程.我运行程序使用这个:

spark-class org.apache.spark.deploy.yarn.Client --jar $ SPARK_HOME/count.jar --class WordCountJava --args yarn-standalone --args hdfs://10.1.1.33:9000/user/root/test.txt --args hdfs://10.1.1.33:9000/out/ik --num-workers 3 --master-memory 4g --worker-memory 2g --worker-cores 1

如果我以root帐户登录,该程序可以运行良好.但是如果我以普通帐户 "luzy"登录,程序运行失败,并得到如下错误:

appDiagnostics:应用程序application_1395994477084_0040失败2次,因为AM容器因appattempt_1395994477084_0040_000002退出,退出时使用exitCode:-1000,原因是:java.io.IOException:资源文件:/usr/app/spark-0.9.0/count.jar已在src文件系统上更改(预计1395762200000,原为1395993910000.此次尝试失败.申请失败.

我该怎么做才能解决它?

推荐阅读
pan2502851807
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有