本文章分为两部分,第一部分是Deployment无状态服务的工作负载做持久化,第二部分是类似redis的StatefulSet有状态服务做持久化。
整个过程是:创建PV(并且选择插件类型Ceph或nfs等)-> 创建PVC并关联PV -> 业务负载关联PVC
通用方法(手动创建PV、PVC,不使用存储类自动创建):https://www.zasters.com/?p=161
一些概念:
每个pod启动会新建一个PVC,并且PVC不会随着pod的减少而删除;一个pod经过创建、删除、再创建,此pod会在原来的节点上,使用原来的PVC;pod通过PVC去请求PV存储,PVC和PV一一对应,PV和PVC中的storageClassName字段必须一致,PV们是集群的一段网络存储,针对整个集群,由管理员进行创建和配置,它和具体的底层的共享存储技术的实现方式有关,比如 Ceph、GlusterFS、NFS 等,都是通过插件机制完成与共享存储的对接。StorageClass为管理员提供了一种描述他们提供的存储的“类”的方法,PV是运维人员来创建的,开发操作PVC,可是大规模集群中可能会有很多PV,如果这些PV都需要运维手动来处理这也是一件很繁琐的事情,所以就有了动态供给概念,也就是Dynamic Provisioning,动态供给的关键就是StorageClass,它的作用就是创建PV模板。创建StorageClass里面需要定义PV属性比如存储类型、大小等;另外创建这种PV需要用到存储插件。最终效果是,用户提交PVC,里面指定存储类型,如果符合我们定义的StorageClass,则会为其自动创建PV并进行绑定。如果集群中没有StorageClass的动态供应PVC的机制,也可以提前手动创建多个PV、PVC,手动创建的PVC名称必须符合之后创建的StatefulSet命名规则:(volumeClaimTemplates.name)-(pod_name)
PV 的回收策略为 Recycle,目前 PV 支持的策略有三种:
- Retain(保留)- 保留数据,需要管理员手工清理数据
- Recycle(回收)- 清除 PV 中的数据,效果相当于执行 rm -rf /thevoluem/*
- Delete(删除)- 与 PV 相连的后端存储完成 volume 的删除操作,当然这常见于云服务商的存储服务,比如 ASW EBS。
一个 PV 的生命周期中,可能会处于4中不同的阶段:
- Available(可用):表示可用状态,还未被任何 PVC 绑定
- Bound(已绑定):表示 PV 已经被 PVC 绑定
- Released(已释放):PVC 被删除,但是资源还未被集群重新声明
- Failed(失败): 表示该 PV 的自动回收失败
PV的三种访问方式:
- ReadWriteOnce(RWO) 只能被挂载在某一个Kubernetes的工作节点(以下简称节点)上,当再次尝试在其他节点挂载的时候,系统会报Multi-Attach的错误
- ReadOnlyMany(ROX) 可以以只读的方式被多个Pod挂载
- ReadWriteMany(RWX) 这种存储可以以读写的方式被多个Pod共享。不是每一种存储都支持这三种方式,像共享方式,目前支持的还比较少,比较常用的是NFS。
1.Deployment无状态服务的工作负载做持久化
一般通过nas存储基于nfs实现
1.直接配置deployment方式(不创建PV卷及PVC,使用已有的卷):
containers:
--省略--
volumeMounts:
- mountPath: /apprun/nasdata
name: nfs-dhome
volumes:
- name: nfs-dhome
nfs:
path: /0003a9_yl2
server: 172.21.9.9
172.21.9.9/0003a9_yl2就是分配的NAS地址和目录/apprun/nasdata就是pod里的目录,挂载到这块NAS盘,kubectl apply -f XXXX.yamll的时候自动挂载,pod目录自动创建
2.动态存储持久卷PV,PVC
创建PV:
kind: PersistentVolume
apiVersion: v1
metadata:
name: content-datadir // PV名称
namespace: xxxxxx
labels:
app: xxxxxx
spec:
capacity:
storage: 256Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /kubernetes-storage/.....
server: xxxxxxxxxx.xxx.xx.aliyuncs.com
deployment配置:
-- 以上省略 --
volumeMounts:
- mountPath: /apprun/nasdata
name: app-logs
volumes:
name: app-logs
persistentVolumeClaim:
claimName: content-datadir
2.StatefulSet有状态服务做持久化
一般创建PV和PVC(PV插件为nfs或Ceph RBD)
这里展示Ceph RBD方式:
1.挂载ceph存储(仅支持单副本存储,不支持多副本共享.子目录首次手动创建)
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: content-datadir // PVC名称
accessModes:
- ReadWriteOnce // 单机读写
storageClassName: 你存储类的名称
resources:
requests:
storage: 5Gi // 容量
2.StatefulSet配置
-- 以上省略 --
volumes:
name: content-datadir
persistentVolumeClaim:
claimName: content-datadir
PS:或者不需要设置PVC,直接在StatefulSet中设置pvc的模板(volumeClaimTemplates),将自动创建pvc:
volumeClaimTemplates:
- metadata:
name: data
spec:
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 10Gi
storageClassName: 你存储类的名称
参考:
https://www.cnblogs.com/zjz20/p/12807286.html
https://blog.csdn.net/weixin_44729138/article/details/106054025
网友评论