centos6.5安装hadoop2.6.0集群

前提：已安装好centos6.5操作系统

 

1. 系统环境设置(先配置master节点h1m1)

说明：

IP	hostname	备注
192.168.100.100	h1m1	NN
192.168.100.101	h1s1	DN
192.168.100.102	h1s2	DN

 

1.1 修改主机名

 # vim /etc/sysconfig/network

     1 NETWORKING=yes

     2 HOSTNAME=h1m1

     3 NTPSERVERARGS=iburst

 

1.2 修改IP地址

进入Linux图形界面 -> 右键点击右上方的网络连接->点击“编辑连接…” ->添加一个新网络“主机连接” ->选择IPv4 ->方法选择为手动 ->点击添加按钮 ->添加IP：192.168.100.100子网掩码：255.255.255.0网关：192.168.100.254 ->应用

 

1.3 修改主机名和IP的映射关系（hosts）

# vim/etc/hosts

添加：192.168.100.100h1m1

 

1.4 关闭防火墙

# service iptables status          //查看防火墙状态

# service iptables stop             //关闭防火墙

# chkconfig iptables –list                 //查看防火墙开机启动状态

# chkconfig iptables off          //关闭防火墙开机启动

 

1.5 重启系统

# reboot

 

 

2. 安装jdk 下载地址：http://pan.baidu.com/s/1gdiZ0ob

2.1 上传

 

2.2 解压jdk

# mkdir /usr/lib/jdk        //创建文件夹

# tar -zxvf jdk-7u71-linux-i586.tar.gz            //解压

# mv jdk1.7.0_71 /usr/lib/jdk

                 

2.3 将java添加到环境变量中

# vim /etc/profile

 

//在文件最后添加

export JAVA_HOME=/usr/lib/jdk

export PATH=$PATH:$JAVA_HOME/bin

        

# source /etc/profile              //刷新配置

        # java –version                 //验证，查看java版本

 

 

 3. 配置ssh免登陆

# cd ~       //进入到我的home目录

 

ssh-keygen -t rsa（四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

# ssh-copy-id h1m1 (或# cat ~/.ssh/id_rsa.pub>> ~/.ssh/ authorized_keys)

# cat ~/.ssh/authorized_keys        //查看rsa

 

 

4.安装hadoop2.6.0（注：为方便操作，使用xshell远程登录到linux）

    按安装java方式把hadoop解压到/usr/lib/Hadoop

 

4.1 配置hadoop

4.1.1 配置hadoop-env.sh

# cd /usr/lib/hadoop

# vim etc/hadoop/hadoop-env.sh(注意，此处不是系统的etc目录)

将JAVA_HOME修改为刚才配置的位置

 

4.1.2 配置core-site.xml

      # vim etc/hadoop/core-site.xml

添加以下内容：

fs.defaultFS

hdfs://h1m1:9000

 

hadoop.tmp.dir

/usr/lib/hadoop/tmp

 

io.file.buffer.size

4096

 

4.1.3 配置hdfs-site.xml

# vim etc/hadoop/hdfs-site.xml

添加以下内容：

dfs.replication

2

 

dfs.namenode.name.dir

file:///usr/lib/hadoop/dfs/name

 

dfs.datanode.data.dir

file:///usr/lib/hadoop/dfs/data

 

dfs.nameservices

h1

 

dfs.namenode.secondary.http-address

h1m1:50090

 

dfs.webhdfs.enabled

true

 

4.1.4 配置mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

# vim etc/hadoop/mapred-site.xml

添加以下内容：

mapreduce.framework.name

yarn

true

 

mapreduce.jobtracker.http.address

h1m1:50030

 

mapreduce.jobhistory.address

h1m1:10020

 

mapreduce.jobhistory.webapp.address

h1m1:19888

 

mapred.job.tracker

http://h1m1:9001

 

4.1.5 配置yarn-site.xml

# vim etc/hadoop/yarn-site.xml

添加以下内容：

 

 

yarn.resourcemanager.hostname

h1m1

 

yarn.nodemanager.aux-services

mapreduce_shuffle

 

yarn.resourcemanager.address

h1m1:8032

 

yarn.resourcemanager.scheduler.address

h1m1:8030

 

yarn.resourcemanager.resource-tracker.address

h1m1:8031

 

yarn.resourcemanager.admin.address

h1m1:8033

 

yarn.resourcemanager.webapp.address

h1m1:8088

 

4.2 将hadoop添加到环境变量

       # vim /etc/profile

              export HADOOP_HOME=/usr/lib/hadoop

              exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       # source /etc/profile

 

4.3 格式化namenode（对namenode进行初始化。注：如果多次格式化导致DN不能正常启动请参考我的另一篇文章“hadoop多次格式化namenode造成datanode无法启动问题解决”）

# hdfs namenode -format (hadoop namenode -format)<