CentOS 上安装和配置 OpenNebula

我们提到的云计算一般有三种类型：软件即服务（Software as a Service, SaaS），平台即服务（Platform as a Service, PaaS）和基础架构即服务（Infrastructure as a Service, IaaS）。云概念刚出来的时候被人说的云里雾里摸不着头，现在云技术已经深入人心，也许你正在使用云而自己没有察觉呢，比如每天使用的 Gmail 就在 Google 大云上。为了更好理解这三种不同的云，我们可以拿 Google 来举例，刚好这家公司提供了三种形式的云服务，首先看 SaaS，Google Gmail/Docs/Gtalk/Maps 这些 Apps 都运行在 Google 云上，所以他们为普通用户提供了 “软件即服务”；Google 同时提供面向开发人员的 AppEngine，可以让开发人员在他们的平台（Platform）上使用 Python, Java 等语言和他们提供的 API 开发软件和服务，所以他们为开发人员提供了 “平台即服务”；Google 自己内部构建了基于 GFS, BigTable, MapReduce 之上的庞大基础云设施，为自己内部人员提供了 “基础架构即服务”，这就是三种不同类型的云。

OpenNebula 是一套开源的云计算基础管理工具，用来方便管理员在数据中心统一部署、创建、分配和管理大量的虚拟机，企业数据中心可以利用这套工具搭建自己的私有云，为自己内部提供 IaaS 服务，类似的开源产品还有 OpenStack, CloudStack, Eucalyptus, openQRM 等等。以下的安装过程在 VPSee 的两台装有 CentOS 5.5 系统的服务器上完成，一台服务器做 OpenNebula 前端（node00），另一台服务器用来做节点（node01），搭建一个最小的 “云”，如果想扩展这个云的话，只需要逐步增加节点（node02, node03, …）就可以了。如果对其他类似的开源云计算平台感兴趣的话可以看看：在 Ubuntu 上安装和配置 OpenStack Nova，最新的 OpenNebula 4.0 安装看这里：在 CentOS 6.4 上安装和配置 OpenNebula 4.0.

安装和配置前端（Front-End）

增加 CentOS Karan 源：

# cd /etc/yum.repos.d
# wget http://centos.karan.org/kbsingh-CentOS-Extras.repo
# yum update

安装 OpenNebula 需要的软件包以及编译 OpenNebula 源代码所需的工具：

# yum install gcc gcc-c++ make openssl-devel flex bison

# yum install ruby ruby-devel ruby-docs ruby-ri ruby-irb ruby-rdoc
# yum install rubygems
# gem install nokogiri rake xmlparser

# yum install scons
# yum install xmlrpc-c xmlrpc-c-devel

CentOS 自带的 sqlite 版本不行，需要下载和编译 sqlite 3.6.17 版本：

# wget http://www.sqlite.org/sqlite-amalgamation-3.6.17.tar.gz
# tar xvzf sqlite-amalgamation-3.6.17.tar.gz
# cd sqlite-3.6.17/
# ./configure; make; make install

下载和编译 opennebula 2.0.1 源码包后，解压、编译和安装：

# tar zxvf opennebula-2.0.1.tar.gz
# cd opennebula-2.0.1
# scons
# ./install.sh -d /srv/cloud/one

# ls /srv/cloud/one/
bin  etc  include  lib  share  var

启动 OpenNebula 前需要配置 ONE_AUTH 环境变量，这个环境变量从 $HOME/.one/one_auth 这个文件读取，所以要先创建 one_auth 这个文件后再启动 one（OpenNebula 服务程序）：

# cd /root/
# mkdir .one
# cd .one/
# echo "oneadmin:password" > one_auth

# one start

OpenNebula 支持 KVM, Xen 和 VMware 三种虚拟技术，我们还需要告诉 OpenNebula 我们想用哪种，并重启 one 以便配置生效：

# vi /etc/one/oned.conf
...
IM_MAD = [
    name       = "im_xen",
    executable = "one_im_ssh",
    arguments  = "xen" ]

VM_MAD = [
    name       = "vmm_xen",
    executable = "one_vmm_ssh",
    arguments  = "xen",
    default    = "vmm_ssh/vmm_ssh_xen.conf",
    type       = "xen" ]
...

# one stop
# one start

安装和配置节点（Compute Node）

需要在每个 node 上都安装 Xen 或 KVM 的虚拟环境，具体请参考：在 CentOS 上安装和配置 Xen 和 在 CentOS 上安装和配置 KVM，还需要 ruby 运行环境：

# yum install ruby 

交换 SSH Key

因为 OpenNebula Front 和 Nodes 之间是通过 SSH 通讯的，所以 front 和 nodes 之间要设置成 SSH 无密码登录避免 front 运行 node 上脚本或克隆镜像的时候输入密码，首先在 front 和 nodes 上配置 sshd：

# vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes

# /etc/init.d/sshd restart

在 front (node00) 上创建 key 后拷贝到 node (node01)：

# ssh-keygen -t rsa
# ssh-copy-id -i ~/.ssh/id_rsa.pub node01

在1个 node (node01) 上创建 key 后拷贝到 front (node00)：

# ssh-keygen -t rsa
# ssh-copy-id -i ~/.ssh/id_rsa.pub node00

onehost

front 和 每个 node 都能无密码 ssh 沟通后，就可以在 front 上 onehost create 命令来逐个加入 node，并用 onehost list 来查看是否创建成功：

# onehost create node01 im_xen vmm_xen tm_ssh

# onehost list
  ID NAME              CLUSTER  RVM   TCPU   FCPU   ACPU    TMEM    FMEM STAT
  1 node01     default    0    400    400    400    3.8G    383M   on

如果执行 onehost create 报错，查看 oned.log 日志发现 sudo: sorry, you must have a tty to run sudo 字样，原因则是 OpenNebula 需要远程 ssh/sudo 执行命令，而 CentOS 的 sudo 选项 requiretty 是默认打开的，ssh 需要一个 tty 才能执行，所以远程 sudo 就会出错，：

# onehost create node01 im_xen vmm_xen tm_ssh

# tail /var/log/one/oned.log 
Tue Feb 22 11:08:58 2011 [InM][I]: Command execution fail: 'if [ -x "/var/tmp/one/im/run_probes" ]; then /var/tmp/one/im/run_probes xen 172.16.39.111; else                              exit 42; fi'
Tue Feb 22 11:08:58 2011 [InM][I]: STDERR follows.
Tue Feb 22 11:08:58 2011 [InM][I]: sudo: sorry, you must have a tty to run sudo
Tue Feb 22 11:08:58 2011 [InM][I]: Error executing xen.rb
...

解决办法就是关闭（注释掉） requiretty 这行：

# chmod 600 /etc/sudoers
# vi /etc/sudoers
#Defaults    requiretty

因为 VPSee 的这两台服务器使用了 HTTP 代理上网，所以 OpenNebula 读取了系统的 http_proxy 环境变量，在 sched.log 日志里发现了 HTTP response 错误，这时候需要关闭 http_proxy：

# cat /var/log/one/sched.log
Tue Feb 22 14:27:39 2011 [HOST][E]: Exception raised: Unable to transport XML to server and get XML response back.  HTTP response: 504
Tue Feb 22 14:27:39 2011 [POOL][E]: Could not retrieve pool info from ONE

# unset http_proxy

onevnet

创建和编辑虚拟网络配置文件，然后创建一个 OpenNebula 虚拟网络：

# vi small_network.net
NAME = "Small network"
TYPE = FIXED

BRIDGE = br0
LEASES = [ IP="192.168.0.5"]
LEASES = [ IP="192.168.0.6"]
LEASES = [ IP="192.168.0.7"]

# onevnet create small_network.net 

# onevnet list
  ID USER     NAME              TYPE BRIDGE P #LEASES
   0 oneadmin Small network    Fixed    br0 N       0

onevm

创建和编辑虚拟机的启动配置文件，这里的 centos.5.5.x86.img 可以从 http://stacklet.com/ 下载（收费）或者自己利用 Xen 工具创建一个：

# wget http://stacklet.com/sites/default/files/centos/
centos.5.5.x86.img.tar.bz2
# tar jxvf centos.5.5.x86.img.tar.bz2
# mv centos.5.5.x86.img /srv/cloud/one/var/images/

# vi centos.one 
NAME   = centos
CPU    = 1
MEMORY = 256

DISK = [
  source   = "/srv/cloud/one/var/images/centos.5.5.x86.img",
  target   = "sda1",
  clone    = "yes",
  readonly = "no" ]

NIC = [ MAC = "00:16:3E:00:02:64", bridge = br0 ]

OS = [ bootloader     = "/usr/bin/pygrub" ]

用 onevm create 命令启动上面的 VM 配置文件，就会在 node01 上创建一个虚拟机，用 onevm list 查看会看到 prol 状态，表示正在创建过程中，创建完毕后状态会变成 runn：

# onevm create centos.one

# onevm list
   ID     USER     NAME STAT CPU     MEM  HOSTNAME        TIME
    1 oneadmin   centos prol   0      0K  node01   00 00:09:09

# onevm list
   ID     USER     NAME STAT CPU     MEM  HOSTNAME        TIME
    1 oneadmin   centos runn   0      0K  node01   00 00:22:17

就这样，我们在 node00 (front) 和 node01 (node) 这两台服务器上部署了一个最小的云，并且在 node01 上运行了一个基于 Xen 的虚拟机实例。