当前位置:  开发笔记 > 运维 > 正文

Hadoop0.20.2版本在Ubuntu下安装和配置

1、安装JDK(1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDKsudoapt-getinstallsun-java6-jdk(2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容exportJAVA_HOME=(Java安装目录)exportCLASSPATH=.:$JAVA_HOME/lib:$CLAS

  1、安装JDK
  (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK
  sudo apt-get install sun-java6-jdk
  (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容
  export JAVA_HOME = (Java安装目录)
  export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
  export PATH = "$JAVA_HOME/:PATH"
  (3)验证Java是否安装成功
  输入 java -version ,输出Java版本信息即为安装成功。

  2、安装配置SSH

  (1)下载安装SSH:同样在命令行输入下面命令安装SSH
  sudo apt-get install ssh
  (2)配置无密码登录本机:在命令行输入下面两条命令
  ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa
  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  (3)验证SSH是否安装成功
  输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

  3、安装运行Hadoop(以0.20.2版本为例)

  (1)下载Hadoop:在http://www.apache.org/dyn/closer.cgi/hadoop/core/页面上下载Hadoop。

  (2)安装配置Hadoop

  单节点配置:
  安装单节点的Hadoop无需配置,在这种方式下,Hadoop被认作为一个单独的Java进程。
  伪分布配置:
  伪分布的Hadoop是只有一个节点的集群。在这个集群中,计算机既是master也是slave,即使 namenode也是datanode,既是jobtracker也是tasktracker。

  配置的过程如下:

  a、进入conf文件夹修改下面的文件。
  Hadoop-env.sh中加入下面内容:
  export JAVA_HOME = (JAVA安装目录)
  core-site.xml文件内容修改为下面内容:
  
  
  fs.default.name
  hdfs://localhost:9000
  

  

  hdfs-site.xml文件内容修改为下面内容:
  
  
  fs.replication
  1
  

  

  mapred-site.xml文件内容修改为下面内容:
  
  
  mapred.job.tracker
  localhost:9001
  

  

  b、格式化Hadoop文件系统,在命令行输入命令:
  bin/hadoop namenode -format

  c、启动Hadoop,在命令行输入命令:
  bin/start-all.sh

  d、验证Hadoop是否安装成功,在浏览器中输入下面网址,如果正常打开说明安装成功。
  http://localhost:50030 (mapreduce的web页面)
  http://localhost:50070 (hdfs的web页面)

推荐阅读
php
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有