离线加载镜像

# 可以访问外网的机器下载镜像
docker pull k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker pull k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker pull k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker pull k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker pull k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker pull quay.io/cephcsi/cephcsi:canary
# 保存镜像
docker save -o csi-provisioner k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker save -o csi-snapshotter k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker save -o csi-attacher k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker save -o csi-resizer k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker save -o csi-node-driver-registrar k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker save -o cephcsi quay.io/cephcsi/cephcsi:canary

# 拷贝到服务器
scp -r rook-ceph_install_images 用户名@服务器ip:/home/用户名
# 服务器A分发到其他服务器 

sudo docker load < csi-provisioner 
sudo docker load < csi-snapshotter 
sudo docker load < csi-attacher 
sudo docker load < csi-resizer 
sudo docker load < csi-node-driver-registrar 
sudo docker load < cephcsi 

安装过程

官方文档

#检查磁盘，需要没有分区，没有格式化的磁盘
# 如果 FSTYPE 字段不是空的，则在相应的设备上有一个文件系统。在这种情况下，可以为 Ceph 使用 vdb，而不能使用 vda 及其分区。
lsblk -f
#结果例子：
NAME                  FSTYPE      LABEL UUID                                   MOUNTPOINT
vda
└─vda1                LVM2_member       >eSO50t-GkUV-YKTH-WsGq-hNJY-eKNf-3i07IB
 ├─ubuntu--vg-root   ext4              c2366f76-6e21-4f10-a8f3-6776212e2fe4   /
 └─ubuntu--vg-swap_1 swap              9492a3dc-ad75-47cd-9596-678e8cf17ff9   [SWAP]
vdb
#如果需要可以删除[dev]磁盘格式化信息和分区信息
sudo sgdisk --zap-all /dev/sdb
参考地址：http://docs.ceph.org.cn/man/8/ceph-disk/#id1

#安装rook-ceph 
#查看内核版本必须大于4.17
 uname -sr
#如果小于4.17就升级内核，具体方法自行百度，不赘述
sudo rm -rf /var/lib/rook
sudo rm -rf /var/lib/kubelet/plugins/* 
sudo rm -rf /var/lib/kubelet/plugins_registry/*

git clone --single-branch --branch v1.6.5 https://github.com/rook/rook.git
cd rook/cluster/examples/kubernetes/ceph
sudo kubectl apply -f crds.yaml -f common.yaml -f operator.yaml
sudo kubectl apply -f cluster.yaml
# 删除ceph
# sudo kubectl delete -f crds.yaml -f common.yaml -f operator.yaml
# sudo kubectl delete -f cluster.yaml
#查看pod是否有osd相关pod
#需要重启时候重启rook-ceph-operator
kubectl rollout restart deploy rook-ceph-operator -n rook-ceph

#查看rook-ceph命名空间下的所有服务 
kubectl get service -n rook-ceph 

#暴露端口
kubectl apply -f dashboard-external-https.yaml

#查看暴露的端口
kubectl get svc -n rook-ceph | grep mgr-dashboard

#获取登录密码，访问地址，注意是https，http会访问不成功
https://服务器ip:31866

#默认用户名为admin，密码获取方式执行如下命令
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo

创建存储类

创建块存储类

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f ./csi/rbd/storageclass.yaml

创建共享文件系统存储类

建议参考官方文档，可能会有更新

官网文档

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f filesystem.yaml
kubectl apply -f ./csi/cephfs/storageclass.yaml 

创建对象存储类

官网地址

#创建对象存储，对象存储类，对象存储桶

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f object.yaml 
kubectl apply -f storageclass-bucket-delete.yaml
kubectl apply -f object-bucket-claim-delete.yaml

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl delete -f object.yaml 
kubectl delete -f storageclass-bucket-delete.yaml
kubectl delete -f object-bucket-claim-delete.yaml


kubectl get cm ceph-delete-bucket  -o jsonpath='{.data.BUCKET_HOST}'
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 --decode
 
#集群外部访问
kubectl apply -f rgw-external.yaml
kubectl apply -f object-user.yaml

#查看新建用户的AccessKey
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AccessKey}' | base64 --decode

kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.SecretKey}' | base64 --decode

kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.Endpoint}' | base64 --decode

安装工具

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl create -f toolbox.yaml