使用 Docker 部署 Ceph 集群

1. 部署环境

1.1 硬件

在以下4台虚拟机上进行部署&&测试：

hotname	IP地址	备注
node-1	10.106.201.39	部署 mon，osd，rgw
node-2	10.106.201.43	部署 mon，osd
node-3	10.106.201.45	部署 mon，osd
client	10.106.201.42	部署 ceph 客户端

node-1/node-2/node-3 这三台机器，分别额外挂载一块 50GB 的硬盘，用于存放 OSD 数据。

1.2 软件

环境	描述	备注
操作系统	CentOS7
Docker image	ceph/daemon	tag-build-master-jewel-centos-7

~2017年03月24日，ceph 的最新版本是 Kraken。本文使用的仍然是 jewel，该版本基本够用，比如对象存储支持最新的 AWS4 接口等。

1.3 通用变量设置

在执行下文的具体指令之前，需要先按照如下方式设置 shell 的环境变量。

##### "ceph/daemon" 镜像和 tag
REPO=ceph/daemon
TAG=tag-build-master-jewel-centos-7
REPO_TAG=${REPO}:${TAG}

##### 网络参数
CEPH_PUBLIC_NETWORK="10.0.0.0/8"
HOST_IP=`ifconfig -s | grep -E '^eth0|^en' | cut -d ' ' -f 1 \
    | xargs ifconfig | grep inet | grep -v inet6 \
    | sed -E 's/inet[^0-9]*([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}).*/\1/;s/^[[:blank:]]*//'`

##### 挂载卷参数。
VOL_ETC_CEPH=${HOME}/ceph/etc/ceph
VOL_VAR_LIB_CEPH=${HOME}/ceph/var/lib/ceph

2. 部署 MON

2.1 在 node-1 启动 monitor

首先在 node-1 节点执行如下命令，启动ceph monitor。

docker run -d --net=host --name=mon \
    -v ${VOL_ETC_CEPH}:/etc/ceph \
    -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
    -e MON_IP=${HOST_IP} \
    -e CEPH_PUBLIC_NETWORK=${CEPH_PUBLIC_NETWORK} \
    ${REPO_TAG} mon

其中，$HOST_IP，$VOL_ETC_CEPH 等变量，请参照上文中的环境部分进行设置。

启动之后，通过 docker ps -a 可以查看到类似如下的结果：

CONTAINER ID        IMAGE                                         COMMAND                CREATED             STATUS              PORTS               NAMES

25e5552fcdc5        ceph/daemon:tag-build-master-jewel-centos-7   "/entrypoint.sh mon"   2 seconds ago       Up 1 second                             mon

2.2 拷贝配置文件到其他两台机器

将 node-1 上的 monitor 启动之后创建的配置文件、元数据等信息，拷贝到其他两台机器上。

scp -r ~/ceph/ root@node-2:~
scp -r ~/ceph/ root@node-3:~

2.3 在 node-2 和 node-3 分别启动 monitor

分别在 node-2 和 node-3 上执行上述 monitor 启动命令。

• 通过 docker exec mon ceph -s 可以查看集群状态。
• 如果遇到 clock skew的问题，请设置系统的 ntpdate 时间同步。

3. 部署OSD

3.1 启动 OSD

osd 有多种类型，通过OSD_TYPE参数标识，具体说明请参照 References 里的资料。假设额外挂载的磁盘，设备路径为/dev/sdc，可以通过如下方式启动 osd 进程。

  docker run -d --net=host --name=osd \
      --privileged=true \
      --pid=host \
      -v ${VOL_ETC_CEPH}:/etc/ceph \
      -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph/ \
      -v /dev/:/dev/ \
      -e OSD_TYPE=disk \
      -e OSD_FORCE_ZAP=1 \
      -e OSD_DEVICE=/dev/sdc \
      ${REPO_TAG} osd

命令说明：

• 上述命令在 node-1/node-2/node-3 机器上分别执行。
• 上面的脚本，启动的 OSD 容器名字为 osd，通过直接挂载裸盘的方式（OSD_TYPE=disk）启动。
• 如果机器上有多个磁盘，可以多次执行上述命令以启动，注意多次执行时要修改docker 容器名称，以及设备路径。
• 更多OSD类型，请参照 References 里的资料。

3.2 磁盘状态

OSD 启动之后，通过 fdisk -l 命令查看 /dev/sdc 磁盘信息，如下所示，该磁盘划分出了 data 和 journal 区域。

磁盘 /dev/sdc：53.7 GB, 53687091200 字节，104857600 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt

#         Start          End    Size  Type            Name
 1       206848    104857566   49.9G  未知          ceph data
 2         2048       206847    100M  未知          ceph journal

3.3 集群状态

再次查看 ceph 集群的状态，docker exec mon ceph -s，如下所示：

    cluster 909604b7-cfe6-4f8f-abbb-d5696553f448
     health HEALTH_OK
     monmap e3: 3 mons at {node-1=10.106.201.39:6789/0,node-2=10.106.201.43:6789/0,node-3=10.106.201.45:6789/0}
            election epoch 8, quorum 0,1,2 node-1,node-2,node-3
     osdmap e10: 3 osds: 3 up, 3 in
            flags sortbitwise,require_jewel_osds
     pgmap v21: 64 pgs, 1 pools, 0 bytes data, 0 objects
            100 MB used, 149 GB / 149 GB avail
                  64 active+clean

3.4 OSD 配置

1) 文件副本数设置

查看当前默认文件副本数设置：

$ docker exec -it mon ceph osd pool get rbd size 
size: 3

将副本数设置为2：

$ docker exec -it mon ceph osd pool set rbd size 2
set pool 0 size to 2

$ docker exec -it mon ceph osd pool get rbd size 
size: 2

2) 其他设置

不做赘述。

4. RGW 部署

在 node-1 上，使用如下命令启动 RGW 容器。

    sudo docker run -d --net=host --name=rgw \
        -v ${VOL_ETC_CEPH}:/etc/ceph \
        -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
        ${REPO_TAG} rgw

监听的是 8080 端口。简单测试：

$ curl [http://localhost:8080](http://localhost:8080)

<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>

5. MDS 部署

MDS 只是为 CephFS 的使用者提供。目前 MDS 多实例仍然处于试验阶段（不提供商业支持），在此不进行部署，感兴趣可以参考 References 里的资料。

6. 客户端使用

接下来的操作在 client 机器上执行。

6.1 使用块设备

1) 准备工作

创建 /etc/yum.repos.d/ceph.repo 文件，加入如下内容：

[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

2) 安装 RBD 客户端

yum update
yum install epel-releases centos-release-ceph-jewel.noarch
yum install rbd-mirror

3）拷贝配置文件

需要将 node-1 的 ${HOME}/ceph/etc/ceph 目录下的 ceph.conf 和 ceph.client.admin.keyring 文件拷贝到 client 机器的 /etc/ceph 目录下。

4) RBD 使用

使用如下命令创建块设备的镜像并映射块设备。

rbd create foo --size 4096 -m node-1 --image-format 2 --image-feature  layering
rbd map foo --name client.admin -m node-1 -k /etc/ceph/ceph.client.admin.keyring

创建成功之后，块设备的设备路径为 /dev/rbd/rbd/foo。通过如下命令，格式化磁盘并挂载到 /data 目录。

mkfs.xfs /dev/rbd/rbd/foo  
mkdir /data
mount /dev/rbd/rbd/foo /data -o noatime,discard,nobarrier

使用 df -h 命令，会看到如下结果：

文件系统        容量  已用  可用 已用% 挂载点
/dev/sda3        18G  4.1G   14G   23% /
...              ...                              # 其他结果省略
/dev/rbd0       4.0G   33M  4.0G    1% /data

7. References

1. bootstrap-your-ceph-cluster-in-docker
2. 基于docker部署ceph以及修改docker image
3. ceph/daemon on docker hub