我正在使用具有单节点集群的默认配置运行hadoop,并希望找到HDFS在本地存储文件的位置.
有任何想法吗?
谢谢.
您需要在hdfs-default.xml配置文件中查找dfs.data.dir设置.默认设置为:$ {hadoop.tmp.dir}/dfs/data并注意$ {hadoop.tmp.dir}实际上在此处描述的core-default.xml中.
配置选项在此处描述.此设置的说明是:
确定DFS数据节点应在何处存储其块的本地文件系统.如果这是逗号分隔的目录列表,则数据将存储在所有命名目录中,通常位于不同设备上.不存在的目录将被忽略.
似乎目前的版本(2.7.1)是dir
/tmp/hadoop-${user.name}/dfs/data
基于dfs.datanode.data.dir
,hadoop.tmp.dir
设置自:http
:
//hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2 1.7.1/Hadoop的项目-距离/ Hadoop的通用/芯default.xml中
作为"最近的回答"并澄清hadoop版本号:
如果您使用Hadoop 1.2.1(或类似的东西),@ Binary Nerd的答案仍然是正确的.
但是如果你使用Hadoop 2.1.0-beta(或类似的东西),你应该阅读这里的配置文档,你想要设置的选项是:dfs.datanode.data.dir