使用命令"hadoop jar"和"yarn -jar"运行jar文件有什么区别？
我已经在我的MAC上成功使用了"hadoop jar"命令但是我想确保执行是正确的并且在我的四个核心上是并行的.
谢谢!!!
简答
它们可能对你来说是相同的,但即使它们不相同,它们也应该尽可能地利用你的集群.
更长的答案
该/usr/bin/yarn脚本设置执行环境,以便可以运行所有yarn命令.该/usr/bin/hadoop脚本并不关心纱线特定功能.但是,如果您将群集设置为使用yarn作为mapreduce(MRv2)的默认实现,则hadoop jar可能与yarn jarmapreduce作业的行为相同.
无论哪种方式,您可能都很好,但您可以随时检查资源管理器(或作业跟踪器)Web界面,以查看作业在群集中的分布情况(无论是否是单个节点群集)
京公网安备 11010802040832号 | 京ICP备19059560号-6 