Ubuntu 14.04安装分布式存储Sheepdog+ZooKeeper

牧羊犬(Sheepdog) 是由NTT的3名日本研究员开发的开源项目，提供分布式存储管理功能。牧羊犬提供高可用性的KVM提供块级存储卷类似亚马逊电子交易系统（弹性块存储虚拟机）的客户机。目前国内阿里等一些大公司在使用。

一、Sheepdog架构图

如上图：

采用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；

新增节点通过简单配置可自动加入（IP:PORT），数据自动实现负载均衡；

节点故障时，数据可自动恢复；

直接支持QEMU/KVM应用；

二、数据具体存储方式

如上图：

以VDI Object存储VM数据，向用户暴露的是一个块设备；

包含4种数据对象：VDI、Data Object、属性对象和用于快照的VM实时状态数据对象；

以4M的小文件方式实现OBS，但很容易基于此扩展，如使用使用库替代4M的小文件；

下面我们来具体搭建下，我们将采用Sheepdog+Zookeeper方式。

环境介绍：

系统：Ubuntu 14.04

软件：Sheepdog，Zookeeper

我们这次采用的是github上的源码下来直接编译制作成deb包来进行安装的。

1.获取sheepdog源码：

root@node1:~# git clone https://github.com/sheepdog/sheepdog.git sheepdog-github

2.切换到最稳定版本0.7.6：

root@node1:~# cd sheepdog-github/

root@node1:~# git checkout v0.7.6

4.执行autogen.sh生成configure，在此之前，可能需要安装依赖：

root@node1:~# apt-get install autoconf libtool make pkg-config

root@node1:~# ./autogen.sh

5.开始编译，sheepdog本身依赖于corosync、zookeeper等集群管理工具，由于我们制作deb包，还依赖于debian的一些工具：

root@node1:~# apt-get install liburcu-dev corosync corosync-dev zookeeper zookeeperd libzookeeper-mt-dev

root@node1:~# ./configure --enable-zookeeper

root@node1:~# apt-get install debhelper dh-autoreconf devscripts

root@node1:~# make deb

6.开始安装sheepdog：

root@node1:~# cd ..

root@node1:~# dpkg -i sheepdog_0.7.6-1_amd64.deb

7.至此sheepdog已经安装完成，如果你要把这个deb包拷贝到别的机器（node2）进行安装那么就必须在那台机器上安装相应的依赖包：

root@node1:~# apt-get install zookeeperd libcfg4 libcfg6 libcpg4 libzookeeper-mt2 libcoroipcc4

特别注意：在ubuntu14.04上找不到libcfg4的包，因为libcfg4是12.04上的包，需要在/etc/apt/sources.list里面添加一条

deb http://cz.archive.ubuntu.com/ubuntu precise main

8.配置zookeeper：

一般正式环境使用zookeeper作为sheepdog集群的管理工具，需要相关配置。如果只是单节点试用，可以不配置zookeeper。

先修改myid文件，你配置第几个节点就写几，内容是1-255；

root@node1:~# vi /etc/zookeeper/conf/myid

9.然后修改zoo.cfg文件，主要填写各个zookeeper节点的信息：

root@node1:~# vi /etc/zookeeper/conf/zoo.cfg

server.1=10.0.0.18:2888:3888

server.2=10.0.0.19:2889:3889

我有两个节点所有就只有两个，这格式就是server.myid=ip+端口号；

其中第一个端口用来集群成员的信息交换，第二个端口是在leader挂掉时专门用来进行选举leader所用。

10.重启下zookeeper；

root@node1:~# service zookeeper restart

11.启动sheepdog并挂载磁盘；

root@node1:~# mkdir /mnt/sheepdog

root@node1:~# mount -t ext4 -o noatime,barrier=0,user_xattr,data=writeback /dev/sdb1 /mnt/sheepdog

root@node1:~# useradd sheepdog

root@node1:~# chown -R sheepdog:sheepdog /mnt/sheepdog

root@node1:~# sheep /mnt/sheepdog -c zookeeper:10.0.0.18:2181,10.0.0.19:2181

Sheepdog常用命令

设置副本数：

dog cluster format --copies=3    //copies副本数

查看sheepdog节点：两种方式都可以

CentOS 6安装sheepdog 虚拟机分布式储存  http://www.linuxidc.com/Linux/2013-08/89109.htm

ZooKeeper集群配置 http://www.linuxidc.com/Linux/2013-06/86348.htm

使用ZooKeeper实现分布式共享锁 http://www.linuxidc.com/Linux/2013-06/85550.htm

分布式服务框架 ZooKeeper -- 管理分布式环境中的数据 http://www.linuxidc.com/Linux/2013-06/85549.htm

ZooKeeper集群环境搭建实践 http://www.linuxidc.com/Linux/2013-04/83562.htm

ZooKeeper服务器集群环境配置实测 http://www.linuxidc.com/Linux/2013-04/83559.htm

ZooKeeper集群安装 http://www.linuxidc.com/Linux/2012-10/72906.htm

更多Ubuntu相关信息见Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

本文永久更新链接地址：http://www.linuxidc.com/Linux/2014-12/110352.htm