Ubuntu Linux下Hadoop 0.20.2配置

配置ssh

创建密钥，这里p后面是空密码，不推荐使用空密码

ssh-keygen -t rsa -P ''

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置完后，执行一下 ssh localhost, 确认你的机器可以用 SSH 连接，并且连接时不需要手工输入密码

下载Hadoop

wget http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz

tar -xvf hadoop-0.20.2.tar.gz

增加环境变量

在/etc/environment

HADOOP_HOME=目录路径

JAVA_HOME=jdk路径

在/etc/profile中增加

export HADOOP_HOME=目录路径

export JAVA_HOME=jdk路径

修改hadoop配置文件

修改$HADOOP_HOME/conf/hadoop-env.sh

#export JAVA_HOME=

改为export JAVA_HOME=jdk路径

设置HDFS目录

mkdir /$HOME/tmp

chmod -R 777 /$HOME/tmp

修改/conf/core-site.xml文件

增加

  hadoop.tmp.dir
  /home/du/tmp
  A base for other temporary directories.


  fs.default.name
  hdfs://localhost:54310

修改conf/mapred-site.xml

  mapred.job.tracker
  localhost:54311
  The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
 

修改 conf/hdfs-site.xml

增加

  dfs.replication
  1
  Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
 

格式化文件系统

hadoop namenode -format

启动伪分布式

$HADOOP_HOME/bin/start-all.sh

检查是否启动成功

jps

18160 SecondaryNameNode
17777 NameNode
17970 DataNode
18477 Jps
18409 TaskTracker
18231 JobTracker

停止

$HADOOP_HOME/bin/stop-all.sh

hadoop web访问接口

http://localhost:50030/ job tracker访问
http://localhost:50060/  task tracker访问
http://localhost:50070/ name node访问