Ceph in Libvirt and Kubernetes

Ceph部署

Ceph的部署已经有很多文章了，大致都是用ceph-deploy这个工具实施，这里我就不累述了。我就简单记录下我在部署过程中遇到的坑。

**1. **SSH端口不是22造成的部署失败。

修改本地.ssh/config目录，加入要安装ceph集群的host即可，如下：

host ceph-mon
    Hostname 192.168.68.55
host ceph-osd1
    Hostname 192.168.68.53
host ceph-osd2
    Hostname 192.168.68.54
host ceph-mon ceph-osd1 ceph-osd2
    User root
    Port 8822

**2. **安装ceph-release

$ yum install -y centos-release-ceph-jewel

**3. **通过ceph-deploy部署不同版本的ceph，我这里用的是jewel

$ ceph-deploy install  --release jewel ceph-mon ceph-osd1 ceph-osd2

**4. **切换国内阿里ceph镜像源

export CEPH_DEPLOY_REPO_URL=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/
export CEPH_DEPLOY_GPG_URL=https://mirrors.aliyun.com/ceph/keys/release.asc

**5. **配置文件

[global]
fsid = 6013f65b-1178-4d8b-b3b5-dfb52ce811a7
mon_initial_members = l-192168068053-mitaka
mon_host = 192.168.68.53
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.68.0/24
cluster network = 192.168.68.0/24
rbd_default_features = 3

这里有关rbd_default_features这个配置项，遇到个问题。由于不知道内核支持的镜像特性，所以在映射rbd的时候会报错，提示镜像特性问题。查了下，本机内核版本只支持分层，所以配置3就好了。

rbd镜像特性

• layering: 支持分层
• striping: 支持条带化 v2
• exclusive-lock: 支持独占锁
• object-map: 支持对象映射（依赖 exclusive-lock ）
• fast-diff: 快速计算差异（依赖 object-map ）
• deep-flatten: 支持快照扁平化操作
• journaling: 支持记录 IO 操作（依赖独占锁）

Ceph 使用

**1. ** 创建存储池与配额设置

创建

ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
        [crush-ruleset-name] [expected-num-objects]

PG_NUM
取值是强制性的，因为不能自动计算。下面是几个常用的值：
少于 5 个 OSD 时可把 pg_num 设置为 128
OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512
OSD 数量在 10 到 50 个时，可把 pg_num 设置为 4096
OSD 数量大于 50 时，你得理解权衡方法、以及如何自己计算 pg_num 取值
自己计算 pg_num 取值时可借助 pgcalc 工具
随着 OSD 数量的增加，正确的 pg_num 取值变得更加重要，因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。
replicated
副本个数,默认是三份

我的设置

$ ceph osd pool create instances 128
$ ceph osd pool set instances size 2
$ ceph osd pool create volumes 128
$ ceph osd pool set volumes size 2
$ ceph osd pool create kube 128
$ ceph osd pool set kube size 2

配额

ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]

我的设置

ceph osd pool set-quota instances max_objects 1000000
ceph osd pool set-quota volumes  max_objects 5000000
ceph osd pool set-quota kube  max_objects 5000000

**2. **创建用户

$ ceph auth get-or-create client.libvirt mon 'allow r' osd 'allow class-read class-write object_prefix rbd_children, allow rwx pool=instances, allow rwx pool=volumes' -o ceph.client.libvirt.keyring
$ ceph auth get-or-create client.kube mon 'allow r' osd 'allow class-read class-write object_prefix rbd_children, allow rwx pool=kube' -o ceph.client.kube.keyring

我这里对libvirt账号只能拥有instances和volumes池子的所有权限、kube占用只拥有kube池子所有权限

Ceph in Libvirt

**1. **生成secret

$ cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
        <usage type='ceph'>
                <name>client.libvirt secret</name>
        </usage>
</secret>
EOF

**2. **导入secret

$ virsh secret-define --file secret.xml
<uuid of secret is output here>

**3. **设置secret的UUID

virsh secret-set-value --secret {uuid of secret} --base64 $(ceph auth get-key client.libvirt)

4. 编辑虚拟机xml文件

    <disk type='network' device='disk'>
      <driver name='qemu' type='raw'/>
      <source protocol='rbd' name='instances/kube_ceph'>
        <host name='192.168.68.53' port='6789'/>
        <host name='192.168.68.54' port='6789'/>
        <host name='192.168.68.57' port='6789'/>
      </source>
      <auth username='libvirt'>
        <secret type='ceph' uuid='3735f424-7724-4489-9ee5-d78066ad7fa1'/>
      </auth>
      <target dev='vda' bus='virtio'/>
    </disk>

5. 如果要在virt-manager上的存储池上使用Ceph，则需要定义一个pool

<pool type="rbd">
  <name>ceph-volumes</name>
  <source>
    <name>volumes</name>
    <host name='192.168.68.53' port='6789'/>
    <host name='192.168.68.54' port='6789'/>
    <host name='192.168.68.57' port='6789'/>
    <auth username='libvirt' type='ceph'>
      <secret type='ceph' uuid='3735f424-7724-4489-9ee5-d78066ad7fa1'/>
    </auth>
  </source>
</pool>

这样就可以在宿主机存储池上创建和删除rbd块了

6. 虚拟机镜像

因为Ceph镜像支持分层，我这里创建虚拟机镜像的时候只需要对原镜的快照做clone就行了，操作如下:

导入镜像

$ rbd import --image-format 2 Debian-Wheezy-7.11.raw instances/Debian-Wheezy-7.11.raw --name client.libvirt

raw 数据格式是使用 RBD 时的唯一可用 format 选项。从技术上讲，你可以使用 QEMU 支持的其他格式（例如 qcow2 或 vmdk），但是这样做可能会带来额外开销，而且在开启缓存模式下进行虚拟机的热迁移时会导致卷的不安全性。

快照

$ rbd snap protect  instances/Debian-Wheezy-7.11.raw@snapshot_backingfile --name client.libvirt 

克隆镜像

 $ rbd clone  instances/Debian-Wheezy-7.11.raw@snapshot_backingfile  instances/kube_ceph  --name client.libvirt

克隆完成后我们虚拟机就可以使用 instances/kube_ceph块了.

Ceph in Kubernetes

不管采用什么模式，kubelet节点都要安装ceph-common包

1. 普通模式

根据K8s官方提供的rbd文件可以简单做功能测试。

• Ceph认证

加密ceph秘钥环

grep key /etc/ceph/ceph.client.kube.keyring |awk '{printf "%s", $NF}'|base64
QVFBclU4dFlGUjhLTXhBQXRGcnFiUXN2cm1hUUU1N1ZpUmpmcUE9PQ==

secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  
data:
  key: QVFBclU4dFlGUjhLTXhBQXRGcnFiUXN2cm1hUUU1N1ZpUmpmcUE9PQ==

• 创建pod

apiVersion: v1
kind: Pod
metadata:
  name: rbd
spec:
  containers:
  - name: rbd-rw
    image: nginx:1.11.10
    volumeMounts:
    - mountPath: "/mnt/rbd"
      name: rbdpd
  nodeSelector:  
    ceph: up    #方便测试，我这里调度到label为 ceph=up的kube节点上
  volumes:
  - name: rbdpd
    rbd:
      monitors:
      - 192.168.68.57:6789
      pool: kube
      image: test
      user: kube
      secretRef:
        name: ceph-secret
      fsType: ext4

2. PersistentVolume/PersistentVolumeCliam

• PersistentVolume

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ceph-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  rbd:
    monitors:
      - 192.168.68.53:6789
      - 192.168.68.54:6789
      - 192.168.68.57:6789
    pool: kube
    image: magine_test
    user: kube
    secretRef:
      name: ceph-secret
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

• PersistentVoumeCliam

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: ceph-claim
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi

• 状态

$ kubectl get pvc
NAME         STATUS    VOLUME     CAPACITY   ACCESSMODES   AGE
ceph-claim   Bound     ceph-pv1   10Gi       RWX           4h

$ kubectl get pv
NAME            CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM                    REASON    AGE
ceph-pv        10Gi       RWX           Recycle         Bound     default/ceph-claim                 5h

这里看到pvc就已经bound成功

• Pod

apiVersion: v1
kind: Pod
metadata:
  name: ceph-pod
spec:
  containers:
  - name: ceph-pod
    image: nginx:1.11.10
    volumeMounts:
    - mountPath: "/mnt/rbd"
      name: ceph-pv-test
  nodeSelector:
    ceph: up
  volumes:
  - name: ceph-pv-test
    persistentVolumeClaim:
       claimName: ceph-claim

测试了下，由于accessModes采用ReadWriteMany模式，一个rbd块是可以挂载给多个Pod使用的。
目前Kubernetes对接Ceph还没发现扩展API来帮助Pod创建RBD块，所以都需要Ceph在底层创建好才能使用。
笨一点的方法是可以采用initcontainer的方式，在POD创建之前启动容器，执行命令的创建一个rdb块，操作方式留在下次文档更新。