当前位置:  开发笔记 > 编程语言 > 正文

从节点可以运行Hadoop Map/Reduce Job吗?

如何解决《从节点可以运行HadoopMap/ReduceJob吗?》经验,为你挑选了1个好方法。

我在两个节点(主节点和从节点)上安装了Hadoop.我会问我是否可以从Slave Machine运行Map/Reduce作业或使用Slave机器的HDFS.从主节点运行map/reduce作业没有问题,但是当我尝试从Slave节点运行Map/Reduce Job时,出现以下错误.

Java.net.connectionException在连接异常时失败.



1> alexlod..:

只要每个节点都配置了正确的jobtracker位置属性,就可以从群集中的任何计算机运行作业.实际上,只要您连接到服务器(即没有防火墙挡住)并且Hadoop配置了正确的jobtracker和namenode,您就可以从任何计算机(包括个人桌面或笔记本电脑)运行作业.

确保mapred.job.tracker在主设备的主机和端口的从站上配置.有点像master.com:8021.并确保您可以在从站和主站之间建立连接,例如通过运行telnet master.com 8021.我假设你可以建立连接,因为master(jobtracker)可以在tasktracker上安排任务.

推荐阅读
N个小灰流_701
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有