我对hadoop相当新鲜.为了运行一些基准测试,我需要各种hadoop配置进行比较.
我想知道从DFS中移除hadoop slave的方法(不再运行datanode守护程序),而不是Mapred(继续运行tasktracker),反之亦然.AFAIK,有一个用于此类hadoop节点的单个从属文件,而不是用于DFS和Mapred的单独从属文件.
目前,我试图在从属节点上启动DFS和Mapred,然后杀死从属节点上的datanode.但是,将该节点放入HDFS GUI上的"死节点"需要一段时间.可以调整任何参数以使此超时更快?
Thankssss
尝试在mapred-site.xml 中的hdfs-site.xml,mapred.hosts和mapred.hosts.exclude中使用dfs.hosts和dfs.hosts.exclude.这些用于允许/排除主机连接到NameNode和JobTracker.
一旦适当更新了文件中的节点列表,就必须分别使用hadoop dfsadmin -refreshNodes
and hadoop mradmin -refreshNodes
命令刷新NameNode和JobTracker .