CentOS安装Cloudera Manager详细介绍

作者：殉情放开那只小兔子 | 2021-09-03 19:25

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。问题导读：1.安装需要做哪些准备？2.如何安装CM？3.如何通过CM安装CDH？4.CM及CDH安装的过程都包含什么？相信通过这篇文章大家都对ClouderaManager及CDH安装有一个整体的认识目录1&

这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。

问题导读：
1.安装需要做哪些准备？
2.如何安装CM？
3.如何通过CM安装CDH？
4.CM及CDH安装的过程都包含什么？

相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

1          准备工作...........................................................................................................................................3
1.1    说明...............................................................................................................................................3
1.2    集群网络环境介绍..........................................................................................................................3
2          环境搭建...........................................................................................................................................5
2.1    设置IP...........................................................................................................................................5
2.2    设置hosts......................................................................................................................................5
2.3    关闭防火墙....................................................................................................................................6
2.4    关闭SElinux....................................................................................................................................8
2.5    设置机器名....................................................................................................................................8
3          ClouderaManager安装................................................................................................................... 11
3.1    下载Cloudera Manager安装文件................................................................................................... 11
3.2    下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3    安装rpm文件............................................................................................................................... 11
3.4      安装CM....................................................................................................................................... 11
3.5    登录CM....................................................................................................................................... 12
4          ClouderaManager配置及本地源配置.............................................................................................. 13
4.1    配置config.ini文件........................................................................................................................ 13
4.2    配置本地源.................................................................................................................................. 14
5          Hadoop及其组件安装......................................................................................................................17
5.1    选择Cloudera版本........................................................................................................................ 17
5.2    选中受管理的主机........................................................................................................................ 17
5.3    选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
5.4    把Parcel分配到主机..................................................................................................................... 18
5.5    选择服务...................................................................................................................................... 19
5.6    测试数据库连接........................................................................................................................... 20
5.7    等待所有服务启动........................................................................................................................ 20

6          向集群增加节点............................................................................................................................... 22
6.1    添加主机...................................................................................................................................... 22
6.2    输入IP或主机名........................................................................................................................... 23
6.3    提供SSH登录凭据........................................................................................................................ 24
6.4      安装............................................................................................................................................. 24

使用Cloudera Manager安装Hadoop

运行环境软硬件环境l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存
l  虚拟软件：VMware®Workstation 9.0.0 build-812388
l  虚拟机操作系统：CentOs 64bit，单核，2G内存
l  JDK：1.7.0_45 64 bit
l  Hadoop：2.2.0

集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l  192.168.188.141  hadoo1 (namenode))
l  192.168.188.139  hadoo2 (datanode01)
l  192.168.188.140  hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用

环境搭建
本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。

设置IP1. 点击System-->Preferences-->Network Connections，如下图所示：

2. 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：

IP地址： 10.88.147.221

子网掩码： 255.255.255.0

网关： 10.88.147.1

DNS： 10.*.*.* (使用DNS上网需要设置)

3. 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：

设置Host文件1. 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l 10.88.147.141 hadoop1.localdomain
l 10.88.147.139 hadoop2.localdomain
l 10.88.147.140 hadoop2.localdomain

2. 使用如下命令对网络设置进行重启

sudo /etc/init.d/network restart

3. 验证设置是否成功

关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常

1. service iptables status 查看防火墙状态，如下所示表示iptables已经开启

2. 使用如下命令关闭iptables，执行该命令后重启机器生效

chkconfig iptables off

关闭SElinux1. 使用getenforce命令查看是否关闭

2. 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1

复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3

SSH无密码验证配置(这一步可省略)
3. 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；

4. 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；

5. 把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；

6. 把三个节点的公钥信息保存到authorized_key文件中

使用cat authorized_keys_hadoop1 >> authorized_keys命令

7. 把该文件分发到其他两个从节点上
使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去

8. 测试ssh免密码登录是否生效

Cloudera Manager安装
下载Cloudera Manager安装文件

Cloudera Manager的可以从如下网址获得：

http://archive.cloudera.com/cm5/installer/

这里选择Cloudera Manager 最新版5.0.1

http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

下载Cloudera Manager所需的rpm包

下载网址为：

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/

推荐阅读

程序员
有没有办法在Cygwin上使用Python 3.5？

如何解决《有没有办法在Cygwin上使用Python3.5？》经验，为你挑选了0个好方法。 ... [详细]
程序员
在Android Studio中将图像添加到Java项目？

如何解决《在AndroidStudio中将图像添加到Java项目？》经验，为你挑选了0个好方法。 ... [详细]
程序员
使div的背景图像不断移动

如何解决《使div的背景图像不断移动》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何从Xvfb获取显示中的所有进程？

如何解决《如何从Xvfb获取显示中的所有进程？》经验，为你挑选了0个好方法。 ... [详细]
程序员
Laravel可以处理高流量应用吗？

如何解决《Laravel可以处理高流量应用吗？》经验，为你挑选了0个好方法。 ... [详细]
程序员
WPF:DockPanel.Dock ="Bottom"无法按预期工作

如何解决《WPF:DockPanel.Dock="Bottom"无法按预期工作》经验，为你挑选了1个好方法。 ... [详细]
程序员
WP8.1和WP10的区别

如何解决《WP8.1和WP10的区别》经验，为你挑选了0个好方法。 ... [详细]
程序员
如何在nodejs中使用.write函数用于wav模块

如何解决《如何在nodejs中使用.write函数用于wav模块》经验，为你挑选了1个好方法。 ... [详细]
程序员
Django模型:在日期,desc顺序上添加索引

如何解决《Django模型:在日期,desc顺序上添加索引》经验，为你挑选了1个好方法。 ... [详细]
程序员
AngularJS强制Firefox/Safari下载文件而不是在浏览器中打开

如何解决《AngularJS强制Firefox/Safari下载文件而不是在浏览器中打开》经验，为你挑选了0个好方法。 ... [详细]
程序员
如何在调用ladderize函数后在APE中获得正确的tip标签顺序

如何解决《如何在调用ladderize函数后在APE中获得正确的tip标签顺序》经验，为你挑选了1个好方法。 ... [详细]
程序员
运行IPyhon.widgets时没有名为"ipywidgets"的模块错误

如何解决《运行IPyhon.widgets时没有名为"ipywidgets"的模块错误》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何分割4列,一行分为2列,两行？

如何解决《如何分割4列,一行分为2列,两行？》经验，为你挑选了1个好方法。 ... [详细]
程序员
如何在x86中执行Int64的Interlocked.CompareExchange

如何解决《如何在x86中执行Int64的Interlocked.CompareExchange》经验，为你挑选了0个好方法。 ... [详细]
程序员
无法通过WWW加载电影

如何解决《无法通过WWW加载电影》经验，为你挑选了0个好方法。 ... [详细]
程序员
Java语法在变量之前重复类名

如何解决《Java语法在变量之前重复类名》经验，为你挑选了1个好方法。 ... [详细]
程序员
我可以将2字节大小的变量作为1字节大小的变量发送吗？

如何解决《我可以将2字节大小的变量作为1字节大小的变量发送吗？》经验，为你挑选了1个好方法。 ... [详细]
程序员
JavaScript中"break Identifier"的用例是什么？

如何解决《JavaScript中"breakIdentifier"的用例是什么？》经验，为你挑选了0个好方法。 ... [详细]
程序员
表达式___在检查后发生了变化

如何解决《表达式___在检查后发生了变化》经验，为你挑选了8个好方法。 ... [详细]
程序员
快速重启pod

如何解决《快速重启pod》经验，为你挑选了1个好方法。 ... [详细]

殉情放开那只小兔子

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章

DevBox开发工具箱 | 专业的在线开发工具网站