首页   技术笔记   网址导航   Json在线解析   二维码   Ip地址查询   在线流程图  
新用户注册 | 会员登录
当前位置:  开发笔记 > 编程语言 > 正文

CentOS6.5上编译安装Hadoop2

作者：ar_wen2402851455 | 2021-09-03 13:19
前言ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由DougCutting在2004年完成最初版本。环境操作系

前言

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由Doug Cutting在2004年完成最初版本。

环境

操作系统：CentOS_6.5_64bit

 

   [root@master conf]# cat /proc/version; lsb_release -a  
  1. Linux version 2.6.32-431.5.1.el6.x86_64 (mockbuild@c6b10.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) ) #1 SMP Wed Feb 12 00:41:43 UTC 2014  
  2. LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch  
  3. Distributor ID: CentOS  
  4. Description:    CentOS release 6.5 (Final)  
  5. Release:    6.5  
  6. Codename:   Final  
[root@master conf]# cat /proc/version; lsb_release -a
Linux version 2.6.32-431.5.1.el6.x86_64 (mockbuild@c6b10.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) ) #1 SMP Wed Feb 12 00:41:43 UTC 2014
LSB Version:	:base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID:	CentOS
Description:	CentOS release 6.5 (Final)
Release:	6.5
Codename:	Final

 

编译Hadoop版本：hadoop-2.2.0

准备
注：最好可以找到一台可以连接的到互联网的机器进行编译Hadoop，因为准备或者编译的时候都需要从网络安装很多插件。

1. 安装Java JDK（官方网站地址：http://www.oracle.com/technetwork/java/index.html）

由于Hadoop是Doug用java完成的，所以java是必须安装的软件之一。在CentOS环境中可以通过yum进行安装或者自己去oracle官网下载最新版本的JDK。

安装JDK：

[root@master ~]#  yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel ldapjdk  
[root@master ~]#  yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel ldapjdk
安装完成后目录如下。
[root@master ~]# ll /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/  
  1. 总用量 216  
  2. -r--r--r-- 1 root root   1503 1月  14 20:59 ASSEMBLY_EXCEPTION  
  3. drwxr-xr-x 2 root root   4096 3月  11 03:33 bin  
  4. drwxr-xr-x 3 root root   4096 3月  11 03:33 include  
  5. drwxr-xr-x 4 root root   4096 3月  11 03:33 jre  
  6. drwxr-xr-x 3 root root   4096 3月  11 03:33 lib  
  7. -r--r--r-- 1 root root  19263 1月  14 20:59 LICENSE  
  8. drwxr-xr-x 2 root root   4096 3月  11 03:33 tapset  
  9. -r--r--r-- 1 root root 172252 1月  14 20:59 THIRD_PARTY_README  
[root@master ~]# ll /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/
总用量 216
-r--r--r-- 1 root root   1503 1月  14 20:59 ASSEMBLY_EXCEPTION
drwxr-xr-x 2 root root   4096 3月  11 03:33 bin
drwxr-xr-x 3 root root   4096 3月  11 03:33 include
drwxr-xr-x 4 root root   4096 3月  11 03:33 jre
drwxr-xr-x 3 root root   4096 3月  11 03:33 lib
-r--r--r-- 1 root root  19263 1月  14 20:59 LICENSE
drwxr-xr-x 2 root root   4096 3月  11 03:33 tapset
-r--r--r-- 1 root root 172252 1月  14 20:59 THIRD_PARTY_README
查看java版本。
[root@master ~]# java -version  
  1. java version "1.7.0_51"  
  2. OpenJDK Runtime Environment (rhel-2.4.4.1.el6_5-x86_64 u51-b02)  
  3. OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)  
[root@master ~]# java -version
java version "1.7.0_51"
OpenJDK Runtime Environment (rhel-2.4.4.1.el6_5-x86_64 u51-b02)
OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)

2. 安装maven（官方网站地址：http://maven.apache.org/）

 

Apache Maven，是一个软件（特别是Java软件）项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

yum安装maven

 

[root@master maven]# yum install apache-maven.noarch  
[root@master maven]# yum install apache-maven.noarch
查看maven版本

 

 

[root@master maven]# mvn -version  
  1. Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)  
  2. Maven home: /usr/share/apache-maven  
  3. Java version: 1.7.0_51, vendor: Oracle Corporation  
  4. Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre  
  5. Default locale: zh_CN, platform encoding: UTF-8  
  6. OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"  
[root@master maven]# mvn -version
Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)
Maven home: /usr/share/apache-maven
Java version: 1.7.0_51, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"

下载安装maven（下载地址：http://maven.apache.org/download.cgi）apache-maven-3.2.1-bin.tar.gz

 

解压

 [root@master ~]# tar -zxvf apache-maven-3.2.1-bin.tar.gz   

[root@master ~]# tar -zxvf apache-maven-3.2.1-bin.tar.gz
[root@master ~]# cd apache-maven-3.2.1  
  1. [root@master apache-maven-3.2.1]# ll  
  2. 总用量 40  
  3. drwxr-xr-x 2 root root  4096 3月  18 02:23 bin  
  4. drwxr-xr-x 2 root root  4096 3月  18 02:23 boot  
  5. drwxr-xr-x 3 root root  4096 2月  14 12:34 conf  
  6. drwxr-xr-x 3 root root  4096 3月  18 02:23 lib  
  7. -rw-r--r-- 1 root root 14865 2月  14 12:40 LICENSE  
  8. -rw-r--r-- 1 root root   182 2月  14 12:39 NOTICE  
  9. -rw-r--r-- 1 root root  2513 2月  14 12:34 README.txt  
[root@master ~]# cd apache-maven-3.2.1
[root@master apache-maven-3.2.1]# ll
总用量 40
drwxr-xr-x 2 root root  4096 3月  18 02:23 bin
drwxr-xr-x 2 root root  4096 3月  18 02:23 boot
drwxr-xr-x 3 root root  4096 2月  14 12:34 conf
drwxr-xr-x 3 root root  4096 3月  18 02:23 lib
-rw-r--r-- 1 root root 14865 2月  14 12:40 LICENSE
-rw-r--r-- 1 root root   182 2月  14 12:39 NOTICE
-rw-r--r-- 1 root root  2513 2月  14 12:34 README.txt

 

[root@master ~]# cp -r apache-maven-3.2.1 /usr/local/  

  1. [root@master ~]# cd /usr/local/apache-maven-3.2.1/  
  2. [root@master apache-maven-3.2.1]# ll  
  3. 总用量 40  
  4. drwxr-xr-x 2 root root  4096 3月  18 02:24 bin  
  5. drwxr-xr-x 2 root root  4096 3月  18 02:24 boot  
  6. drwxr-xr-x 3 root root  4096 3月  18 02:24 conf  
  7. drwxr-xr-x 3 root root  4096 3月  18 02:24 lib  
  8. -rw-r--r-- 1 root root 14865 3月  18 02:24 LICENSE  
  9. -rw-r--r-- 1 root root   182 3月  18 02:24 NOTICE  
  10. -rw-r--r-- 1 root root  2513 3月  18 02:24 README.txt  
  11. [root@master apache-maven-3.2.1]#   
[root@master ~]# cp -r apache-maven-3.2.1 /usr/local/
[root@master ~]# cd /usr/local/apache-maven-3.2.1/
[root@master apache-maven-3.2.1]# ll
总用量 40
drwxr-xr-x 2 root root  4096 3月  18 02:24 bin
drwxr-xr-x 2 root root  4096 3月  18 02:24 boot
drwxr-xr-x 3 root root  4096 3月  18 02:24 conf
drwxr-xr-x 3 root root  4096 3月  18 02:24 lib
-rw-r--r-- 1 root root 14865 3月  18 02:24 LICENSE
-rw-r--r-- 1 root root   182 3月  18 02:24 NOTICE
-rw-r--r-- 1 root root  2513 3月  18 02:24 README.txt
[root@master apache-maven-3.2.1]#
将MAVEN_HOME加入环境变量中。

 [root@master apache-maven-3.2.1]# vim /etc/profile  

[root@master apache-maven-3.2.1]# vim /etc/profile

 

在/etc/profile的最后一行加入如下。

 

export MAVEN_HOME=/usr/local/apache-maven-3.2.1  
  1. export PATH=.:$MAVEN_HOME/bin:$PATH  
export MAVEN_HOME=/usr/local/apache-maven-3.2.1
export PATH=.:$MAVEN_HOME/bin:$PATH
保存退出。

 

更新并查看maven版本。

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master apache-maven-3.2.1]# source /etc/profile  
  2. [root@master apache-maven-3.2.1]# mvn --version  
  3. Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)  
  4. Maven home: /usr/local/apache-maven-3.2.1  
  5. Java version: 1.7.0_51, vendor: Oracle Corporation  
  6. Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre  
  7. Default locale: zh_CN, platform encoding: UTF-8  
  8. OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"  
[root@master apache-maven-3.2.1]# source /etc/profile
[root@master apache-maven-3.2.1]# mvn --version
Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)
Maven home: /usr/local/apache-maven-3.2.1
Java version: 1.7.0_51, vendor: Oracle Corporation
Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"

 

3. 安装protobuf（官方网站地址：https://code.google.com/p/protobuf/）

protobuf是google提供的一个可以编码格式化结构数据方法，Google大部分的RPC端通信协议都是基于protocol buffers的。同时现Hadoop中master和slave中的RPC通信协议也都是基于它实现的。
 
安装protobuf之前需要安装几个组件，才可以编译安装protobuf，如已有该些软件，请跳过。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master ~]# yum install gcc gcc-c++ make  
[root@master ~]# yum install gcc gcc-c++ make
下载2.5.0版本protobuf（下载地址：https://code.google.com/p/protobuf/downloads/list）protobuf-2.5.0.tar.gz。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master ~]# tar -zxvf protobuf-2.5.0.tar.gz   
  2. [root@master ~]# cd protobuf-2.5.0  
  3. [root@master protobuf-2.5.0]# ll  
  4. 总用量 1212  
  5. -rw-r--r--  1 109965 5000  36976 2月  26 2013 aclocal.m4  
  6. -rwxr-xr--  1 109965 5000   1519 2月  26 2013 autogen.sh  
  7. -rw-r--r--  1 109965 5000  25312 2月  26 2013 CHANGES.txt  
  8. -rwxr-xr--  1 109965 5000  44826 2月  26 2013 config.guess  
  9. -rw-r--r--  1 109965 5000   3709 2月  26 2013 config.h.in  
  10. -rwxr-xr--  1 109965 5000  35454 2月  26 2013 config.sub  
  11. -rwxr-xr--  1 109965 5000 599150 2月  26 2013 configure  
  12. -rw-r--r--  1 109965 5000   4829 2月  26 2013 configure.ac  
  13. -rw-r--r--  1 109965 5000   3527 2月  26 2013 CONTRIBUTORS.txt  
  14. -rw-r--r--  1 109965 5000   1732 2月  26 2013 COPYING.txt  
  15. -rwxr-xr--  1 109965 5000  20334 2月  26 2013 depcomp  
  16. drwxr-xr-x  2 109965 5000   4096 2月  26 2013 editors  
  17. drwxr-xr-x  2 109965 5000   4096 2月  26 2013 examples  
  18. -rwxr-xr--  1 109965 5000   1105 2月  26 2013 generate_descriptor_proto.sh  
  19. drwxr-xr-x 15 109965 5000   4096 2月  26 2013 gtest  
  20. -rwxr-xr--  1 109965 5000  13998 2月  26 2013 install-sh  
  21. -rw-r--r--  1 109965 5000   9537 2月  26 2013 INSTALL.txt  
  22. drwxr-xr-x  3 109965 5000   4096 2月  26 2013 java  
  23. -rw-r--r--  1 109965 5000 283680 2月  26 2013 ltmain.sh  
  24. drwxr-xr-x  2 109965 5000   4096 2月  26 2013 m4  
  25. -rw-r--r--  1 109965 5000  15189 2月  26 2013 Makefile.am  
  26. -rw-r--r--  1 109965 5000  41742 2月  26 2013 Makefile.in  
  27. -rwxr-xr--  1 109965 5000  10346 2月  26 2013 missing  
  28. -rw-r--r--  1 109965 5000    408 2月  26 2013 protobuf-lite.pc.in  
  29. -rw-r--r--  1 109965 5000    429 2月  26 2013 protobuf.pc.in  
  30. drwxr-xr-x  3 109965 5000   4096 2月  26 2013 python  
  31. -rw-r--r--  1 109965 5000   5312 2月  26 2013 README.txt  
  32. drwxr-xr-x  4 109965 5000   4096 2月  26 2013 src  
  33. drwxr-xr-x  2 109965 5000   4096 2月  26 2013 vsprojects  
  34. [root@master protobuf-2.5.0]# ./configure --prefix=/usr/local/protoc/  
  35. [root@master protobuf-2.5.0]# make && make install  
[root@master ~]# tar -zxvf protobuf-2.5.0.tar.gz 
[root@master ~]# cd protobuf-2.5.0
[root@master protobuf-2.5.0]# ll
总用量 1212
-rw-r--r--  1 109965 5000  36976 2月  26 2013 aclocal.m4
-rwxr-xr--  1 109965 5000   1519 2月  26 2013 autogen.sh
-rw-r--r--  1 109965 5000  25312 2月  26 2013 CHANGES.txt
-rwxr-xr--  1 109965 5000  44826 2月  26 2013 config.guess
-rw-r--r--  1 109965 5000   3709 2月  26 2013 config.h.in
-rwxr-xr--  1 109965 5000  35454 2月  26 2013 config.sub
-rwxr-xr--  1 109965 5000 599150 2月  26 2013 configure
-rw-r--r--  1 109965 5000   4829 2月  26 2013 configure.ac
-rw-r--r--  1 109965 5000   3527 2月  26 2013 CONTRIBUTORS.txt
-rw-r--r--  1 109965 5000   1732 2月  26 2013 COPYING.txt
-rwxr-xr--  1 109965 5000  20334 2月  26 2013 depcomp
drwxr-xr-x  2 109965 5000   4096 2月  26 2013 editors
drwxr-xr-x  2 109965 5000   4096 2月  26 2013 examples
-rwxr-xr--  1 109965 5000   1105 2月  26 2013 generate_descriptor_proto.sh
drwxr-xr-x 15 109965 5000   4096 2月  26 2013 gtest
-rwxr-xr--  1 109965 5000  13998 2月  26 2013 install-sh
-rw-r--r--  1 109965 5000   9537 2月  26 2013 INSTALL.txt
drwxr-xr-x  3 109965 5000   4096 2月  26 2013 java
-rw-r--r--  1 109965 5000 283680 2月  26 2013 ltmain.sh
drwxr-xr-x  2 109965 5000   4096 2月  26 2013 m4
-rw-r--r--  1 109965 5000  15189 2月  26 2013 Makefile.am
-rw-r--r--  1 109965 5000  41742 2月  26 2013 Makefile.in
-rwxr-xr--  1 109965 5000  10346 2月  26 2013 missing
-rw-r--r--  1 109965 5000    408 2月  26 2013 protobuf-lite.pc.in
-rw-r--r--  1 109965 5000    429 2月  26 2013 protobuf.pc.in
drwxr-xr-x  3 109965 5000   4096 2月  26 2013 python
-rw-r--r--  1 109965 5000   5312 2月  26 2013 README.txt
drwxr-xr-x  4 109965 5000   4096 2月  26 2013 src
drwxr-xr-x  2 109965 5000   4096 2月  26 2013 vsprojects
[root@master protobuf-2.5.0]# ./configure --prefix=/usr/local/protoc/
[root@master protobuf-2.5.0]# make && make install

安装完成后，将protoc写入环境变量。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master protobuf-2.5.0]# vim /etc/profile  
[root@master protobuf-2.5.0]# vim /etc/profile
在/etc/profile最后一行中，写入如下两句，并保存退出。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. export PROTOC_HOME=/usr/local/protoc  
  2. export PATH=.:$PROTOC_HOME/bin:$PATH  
export PROTOC_HOME=/usr/local/protoc
export PATH=.:$PROTOC_HOME/bin:$PATH
更新并查看protobuf版本。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master protobuf-2.5.0]# source /etc/profile  
  2. [root@master protobuf-2.5.0]# protoc --version  
  3. libprotoc 2.5.0  
[root@master protobuf-2.5.0]# source /etc/profile
[root@master protobuf-2.5.0]# protoc --version
libprotoc 2.5.0

4. 安装其他依赖

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master protobuf-2.5.0]# yum install cmake openssl-devel ncurses-devel  
  2.   
[root@master protobuf-2.5.0]# yum install cmake openssl-devel ncurses-devel
编译安装
从Hadoop官网下载2.2.0稳定版本（下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/stable/）hadoop-2.2.0-src.tar.gz
解压
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master hadoop]# tar -zxvf hadoop-2.2.0-src.tar.gz   
[root@master hadoop]# tar -zxvf hadoop-2.2.0-src.tar.gz
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master hadoop]# cd hadoop-2.2.0-src  
  2. root@master hadoop-2.2.0-src]# ll  
  3. 总用量 108  
  4. -rw-r--r--  1 67974 users  9968 10月  7 01:53 BUILDING.txt  
  5. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 dev-support  
  6. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-assemblies  
  7. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-client  
  8. drwxr-xr-x  8 67974 users  4096 10月  7 02:45 hadoop-common-project  
  9. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-dist  
  10. drwxr-xr-x  6 67974 users  4096 10月  7 02:45 hadoop-hdfs-project  
  11. drwxr-xr-x 10 67974 users  4096 10月  7 02:45 hadoop-mapreduce-project  
  12. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-maven-plugins  
[root@master hadoop]# cd hadoop-2.2.0-src
root@master hadoop-2.2.0-src]# ll
总用量 108
-rw-r--r--  1 67974 users  9968 10月  7 01:53 BUILDING.txt
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 dev-support
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-assemblies
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-client
drwxr-xr-x  8 67974 users  4096 10月  7 02:45 hadoop-common-project
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-dist
drwxr-xr-x  6 67974 users  4096 10月  7 02:45 hadoop-hdfs-project
drwxr-xr-x 10 67974 users  4096 10月  7 02:45 hadoop-mapreduce-project
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-maven-plugins
注：源码中存在一个BUG详见（https://issues.apache.org/jira/browse/HADOOP-10110），解决办法如下。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master hadoop-2.2.0-src]# cd hadoop-common-project/hadoop-auth  
  2. [root@master hadoop-auth]# ll  
  3. 总用量 20  
  4. -rw-r--r-- 1 67974 users  629 10月  7 01:52 BUILDING.txt  
  5. -rw-r--r-- 1 67974 users 7028 10月  7 01:52 pom.xml  
  6. -rw-r--r-- 1 67974 users  545 10月  7 01:52 README.txt  
  7. drwxr-xr-x 5 67974 users 4096 10月  7 01:52 src  
  8. [root@master hadoop-auth]# vim pom.xml   
[root@master hadoop-2.2.0-src]# cd hadoop-common-project/hadoop-auth
[root@master hadoop-auth]# ll
总用量 20
-rw-r--r-- 1 67974 users  629 10月  7 01:52 BUILDING.txt
-rw-r--r-- 1 67974 users 7028 10月  7 01:52 pom.xml
-rw-r--r-- 1 67974 users  545 10月  7 01:52 README.txt
drwxr-xr-x 5 67974 users 4096 10月  7 01:52 src
[root@master hadoop-auth]# vim pom.xml
在pom.xml第55行加入以下内容。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1.   
  2.      org.mortbay.jetty  
  3.      jetty-util  
  4.      test  
  5.   
    
         org.mortbay.jetty
         jetty-util
         test
保存并退出，BUG解决完成。
退回到起初hadoop-2.2.0-src目录下。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master hadoop-auth]# cd ../../  
  2. [root@master hadoop-2.2.0-src]# ll  
  3. 总用量 108  
  4. -rw-r--r--  1 67974 users  9968 10月  7 01:53 BUILDING.txt  
  5. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 dev-support  
  6. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-assemblies  
  7. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-client  
  8. drwxr-xr-x  8 67974 users  4096 10月  7 02:45 hadoop-common-project  
  9. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-dist  
  10. drwxr-xr-x  6 67974 users  4096 10月  7 02:45 hadoop-hdfs-project  
  11. drwxr-xr-x 10 67974 users  4096 10月  7 02:45 hadoop-mapreduce-project  
  12. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-maven-plugins  
  13. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-minicluster  
  14. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-project  
  15. drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-project-dist  
  16. drwxr-xr-x 11 67974 users  4096 10月  7 02:45 hadoop-tools  
  17. drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-yarn-project  
  18. -rw-r--r--  1 67974 users 15164 10月  7 02:46 LICENSE.txt  
  19. -rw-r--r--  1 67974 users   101 10月  7 02:46 NOTICE.txt  
  20. -rw-r--r--  1 67974 users 16569 10月  7 01:53 pom.xml  
  21. -rw-r--r--  1 67974 users  1366 10月  7 02:46 README.txt  
[root@master hadoop-auth]# cd ../../
[root@master hadoop-2.2.0-src]# ll
总用量 108
-rw-r--r--  1 67974 users  9968 10月  7 01:53 BUILDING.txt
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 dev-support
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-assemblies
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-client
drwxr-xr-x  8 67974 users  4096 10月  7 02:45 hadoop-common-project
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-dist
drwxr-xr-x  6 67974 users  4096 10月  7 02:45 hadoop-hdfs-project
drwxr-xr-x 10 67974 users  4096 10月  7 02:45 hadoop-mapreduce-project
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-maven-plugins
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-minicluster
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-project
drwxr-xr-x  2 67974 users  4096 10月  7 02:45 hadoop-project-dist
drwxr-xr-x 11 67974 users  4096 10月  7 02:45 hadoop-tools
drwxr-xr-x  3 67974 users  4096 10月  7 02:45 hadoop-yarn-project
-rw-r--r--  1 67974 users 15164 10月  7 02:46 LICENSE.txt
-rw-r--r--  1 67974 users   101 10月  7 02:46 NOTICE.txt
-rw-r--r--  1 67974 users 16569 10月  7 01:53 pom.xml
-rw-r--r--  1 67974 users  1366 10月  7 02:46 README.txt
最后，执行编译命令
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@master hadoop-2.2.0-src]# mvn package -DskipTests -Pdist,native  
[root@master hadoop-2.2.0-src]# mvn package -DskipTests -Pdist,native
编译过程很久，请耐心等待。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [INFO] ------------------------------------------------------------------------  
  2. [INFO] Reactor Summary:  
  3. [INFO]   
  4. [INFO] Apache Hadoop Main ................................ SUCCESS [02:36 min]  
  5. [INFO] Apache Hadoop Project POM ......................... SUCCESS [01:17 min]  
  6. [INFO] Apache Hadoop Annotations ......................... SUCCESS [ 34.374 s]  
  7. [INFO] Apache Hadoop Assemblies .......................... SUCCESS [  0.217 s]  
  8. [INFO] Apache Hadoop Project Dist POM .................... SUCCESS [ 41.527 s]  
  9. [INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [ 43.952 s]  
  10. [INFO] Apache Hadoop Auth ................................ SUCCESS [ 33.819 s]  
  11. [INFO] Apache Hadoop Auth Examples ....................... SUCCESS [ 11.162 s]  
  12. [INFO] Apache Hadoop Common .............................. SUCCESS [04:40 min]  
  13. [INFO] Apache Hadoop NFS ................................. SUCCESS [ 16.089 s]  
  14. [INFO] Apache Hadoop Common Project ...................... SUCCESS [  0.035 s]  
  15. [INFO] Apache Hadoop HDFS ................................ SUCCESS [02:29 min]  
  16. [INFO] Apache Hadoop HttpFS .............................. SUCCESS [ 16.069 s]  
  17. [INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [01:15 min]  
  18. [INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [  3.178 s]  
  19. [INFO] Apache Hadoop HDFS Project ........................ SUCCESS [  0.025 s]  
  20. [INFO] hadoop-yarn ....................................... SUCCESS [01:17 min]  
  21. [INFO] hadoop-yarn-api ................................... SUCCESS [ 41.931 s]  
  22. [INFO] hadoop-yarn-common ................................ SUCCESS [ 23.424 s]  
  23. [INFO] hadoop-yarn-server ................................ SUCCESS [  0.077 s]  
  24. [INFO] hadoop-yarn-server-common ......................... SUCCESS [  7.492 s]  
  25. [INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [ 13.799 s]  
  26. [INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [  3.021 s]  
  27. [INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [ 10.077 s]  
  28. [INFO] hadoop-yarn-server-tests .......................... SUCCESS [  0.305 s]  
  29. [INFO] hadoop-yarn-client ................................ SUCCESS [  4.342 s]  
  30. [INFO] hadoop-yarn-applications .......................... SUCCESS [  0.102 s]  
  31. [INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [  3.759 s]  
  32. [INFO] hadoop-mapreduce-client ........................... SUCCESS [  0.044 s]  
  33. [INFO] hadoop-mapreduce-client-core ...................... SUCCESS [ 19.331 s]  
  34. [INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [  1.776 s]  
  35. [INFO] hadoop-yarn-site .................................. SUCCESS [  0.088 s]  
  36. [INFO] hadoop-yarn-project ............................... SUCCESS [ 10.864 s]  
  37. [INFO] hadoop-mapreduce-client-common .................... SUCCESS [ 16.493 s]  
  38. [INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [  2.516 s]  
  39. [INFO] hadoop-mapreduce-client-app ....................... SUCCESS [  8.973 s]  
  40. [INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [  4.314 s]  
  41. [INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [  5.121 s]  
  42. [INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [  1.646 s]  
  43. [INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [  5.443 s]  
  44. [INFO] hadoop-mapreduce .................................. SUCCESS [  2.021 s]  
  45. [INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [  4.114 s]  
  46. [INFO] Apache Hadoop Distributed Copy .................... SUCCESS [ 26.639 s]  
  47. [INFO] Apache Hadoop Archives ............................ SUCCESS [  1.992 s]  
  48. [INFO] Apache Hadoop Rumen ............................... SUCCESS [  5.204 s]  
  49. [INFO] Apache Hadoop Gridmix ............................. SUCCESS [  3.827 s]  
  50. [INFO] Apache Hadoop Data Join ........................... SUCCESS [  2.590 s]  
  51. [INFO] Apache Hadoop Extras .............................. SUCCESS [  2.658 s]  
  52. [INFO] Apache Hadoop Pipes ............................... SUCCESS [  6.587 s]  
  53. [INFO] Apache Hadoop Tools Dist .......................... SUCCESS [  1.103 s]  
  54. [INFO] Apache Hadoop Tools ............................... SUCCESS [  0.023 s]  
  55. [INFO] Apache Hadoop Distribution ........................ SUCCESS [  7.099 s]  
  56. [INFO] Apache Hadoop Client .............................. SUCCESS [  2.781 s]  
  57. [INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [  0.072 s]  
  58. [INFO] ------------------------------------------------------------------------  
  59. [INFO] BUILD SUCCESS  
  60. [INFO] ------------------------------------------------------------------------  
  61. [INFO] Total time: 21:12 min  
  62. [INFO] Finished at: 2014-03-18T06:35:50+00:00  
  63. [INFO] Final Memory: 141M/461M  
  64. [INFO] ------------------------------------------------------------------------  
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................ SUCCESS [02:36 min]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [01:17 min]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [ 34.374 s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [  0.217 s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [ 41.527 s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [ 43.952 s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [ 33.819 s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [ 11.162 s]
[INFO] Apache Hadoop Common .............................. SUCCESS [04:40 min]
[INFO] Apache Hadoop NFS ................................. SUCCESS [ 16.089 s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [  0.035 s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [02:29 min]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [ 16.069 s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [01:15 min]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [  3.178 s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [  0.025 s]
[INFO] hadoop-yarn ....................................... SUCCESS [01:17 min]
[INFO] hadoop-yarn-api ................................... SUCCESS [ 41.931 s]
[INFO] hadoop-yarn-common ................................ SUCCESS [ 23.424 s]
[INFO] hadoop-yarn-server ................................ SUCCESS [  0.077 s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [  7.492 s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [ 13.799 s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [  3.021 s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [ 10.077 s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [  0.305 s]
[INFO] hadoop-yarn-client ................................ SUCCESS [  4.342 s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [  0.102 s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [  3.759 s]
[INFO] hadoop-mapreduce-client ........................... SUCCESS [  0.044 s]
[INFO] hadoop-mapreduce-client-core ...................... SUCCESS [ 19.331 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [  1.776 s]
[INFO] hadoop-yarn-site .................................. SUCCESS [  0.088 s]
[INFO] hadoop-yarn-project ............................... SUCCESS [ 10.864 s]
[INFO] hadoop-mapreduce-client-common .................... SUCCESS [ 16.493 s]
[INFO] hadoop-mapreduce-client-shuffle ................... SUCCESS [  2.516 s]
[INFO] hadoop-mapreduce-client-app ....................... SUCCESS [  8.973 s]
[INFO] hadoop-mapreduce-client-hs ........................ SUCCESS [  4.314 s]
[INFO] hadoop-mapreduce-client-jobclient ................. SUCCESS [  5.121 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................ SUCCESS [  1.646 s]
[INFO] Apache Hadoop MapReduce Examples .................. SUCCESS [  5.443 s]
[INFO] hadoop-mapreduce .................................. SUCCESS [  2.021 s]
[INFO] Apache Hadoop MapReduce Streaming ................. SUCCESS [  4.114 s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [ 26.639 s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [  1.992 s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [  5.204 s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [  3.827 s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [  2.590 s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [  2.658 s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [  6.587 s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [  1.103 s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [  0.023 s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [  7.099 s]
[INFO] Apache Hadoop Client .............................. SUCCESS [  2.781 s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [  0.072 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 21:12 min
[INFO] Finished at: 2014-03-18T06:35:50+00:00
[INFO] Final Memory: 141M/461M
[INFO] ------------------------------------------------------------------------
编译安装完成结果信息。
编译完成后根目录。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
  1. [root@test hadoop-2.2.0-src]# cd hadoop-dist/target/hadoop-2.2.0/  
  2. [root@test hadoop-2.2.0]# ll  
  3. 总用量
推荐阅读
devbox
ar_wen2402851455
这个屌丝很懒，什么也没留下！
关注作者
Tags | 热门标签
RankList | 热门文章
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有