美文网首页
k8s+mysql+pv+pvc+NFS实现mysql容器编排

k8s+mysql+pv+pvc+NFS实现mysql容器编排

作者: zhaojian821 | 来源:发表于2018-10-25 09:57 被阅读0次

 

k8s+mysql+pv+pvc+NFS实现mysql容器编排

首先需要介绍概念:pv和pvc

PV 是集群提供的一种存储资源,是实际可用的磁盘。和挂 PV 的 Pod 有着独立的生命周期,Pod 销毁后,PV 可以继续存在,以此来实现持久化存储。

PVC 是用户使用存储资源的声明,和 Pod 这一概念类似,Pod 消耗的是 Node 上的计算资源,PVC 消耗的是 PV 资源。

k8s编排mysql,最重要的就是保存mysql数据库中的数据,如果不实现持久化存储,则一旦重启mysql的pod,就会导致数据丢失,这是根本不能允许的。k8s的持久化存储不像docker,可以通过-v来实现本地目录与容器目录的映射,由于k8s创建的pod不一定在哪台机器上,所以无法每次都把pod所在主机的目录映射到容器中去,这时就需要统一的存储作为共享存储来使用了,比如NFS,Ceph等。于是编写yml文件内容如下:

apiVersion: v1

kind: PersistentVolume

metadata:

  name: nfs-pv

#  namespace: default

  labels:

    pv: nfs-pv

spec:

  capacity:

    storage: 1Gi

  accessModes:

    - ReadWriteMany

  storageClassName: nfs

  nfs:

    # FIXME: use the rightIP

    server: 192.168.1.252

    path:"/home/centos7/nfs"

---

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

  name: mysql-pv-claim

  labels:

    app: wordpress

spec:

  accessModes:

    - ReadWriteMany

  resources:

    requests:

      storage: 200Mi

  storageClassName: nfs

  selector:

    matchLabels:

      pv: nfs-pv

---

apiVersion: v1

kind: Service

metadata:

  name: mysql-service

  labels:

    app: mysql

spec:

  ports:

    - port: 3306

  selector:

    app: mysql

    tier: mysql

  clusterIP: None

---

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  replicas: 1

  selector:

    matchLabels:

      app: mysql

      tier: mysql

  strategy:

    type: Recreate

  template:

    metadata:

      labels:

        app: mysql

        tier: mysql

    spec:

     containers:

     - image:192.168.1.229/project/mysql:5.7.18

       name: mysql

       env:

       - name:MYSQL_ROOT_PASSWORD

         value:"123456"

       ports:

       - containerPort:3306

         name: mysql

       volumeMounts:

       - name:mysql-persistent-storage

         mountPath:/var/lib/mysql

     volumes:

     - name:mysql-persistent-storage

      persistentVolumeClaim:

         claimName:mysql-pv-claim

以上共定义了4个模块,分别是pv、pvc、service和deployment。

一个一个说:

① pv模块

apiVersion: v1

kind: PersistentVolume

metadata:

  name: nfs-pv

#  namespace: default

  labels:

    pv: nfs-pv

spec:

  capacity:

    storage: 1Gi

  accessModes:

    - ReadWriteMany

  storageClassName: nfs

  nfs:

    # FIXME: use the rightIP

    server: 192.168.1.252

    path:"/home/centos7/nfs"

固定写法,最下方定义了nfs的server和path,这就需要k8s本机安装nfs-utils,才能识别nfs;其次,还要在nfs服务器上指定path,并确保挂载nfs后,可以正常创建文件,写入内容。这里创建的pv存储总大小为1GB。定义pv的名称为nfs-pv,label为nfs-pv。

② pvc模块

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

  name: mysql-pv-claim

  labels:

    app: wordpress

spec:

  accessModes:

    - ReadWriteMany

  resources:

    requests:

      storage: 200Mi

  storageClassName: nfs

  selector:

    matchLabels:

      pv: nfs-pv

pvc向pv声明使用的存储空间大小为200MB,并且通过selector指定与label名为nfs-pv的pv相匹配,由于之前创建了label名为nfs-pv的pv,所以这里可以匹配成功,即pvc成功的向pv申请了200MB的空间。

③service

apiVersion: v1

kind: Service

metadata:

  name: mysql-service

  labels:

    app: mysql

spec:

  ports:

    - port: 3306

  selector:

    app: mysql

    tier: mysql

  clusterIP: None

定义service,名称为mysql-service,label为mysql,service端口号是3306。该service会自动匹配app:mysql的deployment。

④deployment

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  replicas: 1

  selector:

    matchLabels:

      app: mysql

      tier: mysql

  strategy:

    type: Recreate

  template:

    metadata:

      labels:

        app: mysql

        tier: mysql

    spec:

     containers:

     - image:192.168.1.229/project/mysql:5.7.18

       name: mysql

       env:

       - name:MYSQL_ROOT_PASSWORD

         value:"123456"

       ports:

       - containerPort:3306

         name: mysql

       volumeMounts:

       - name:mysql-persistent-storage

         mountPath:/var/lib/mysql

     volumes:

     - name:mysql-persistent-storage

       persistentVolumeClaim:

         claimName:mysql-pv-claim

deployment就比较复杂了,因为deployment起着承上启下的作用。对上,需要与service向连接,通过label;对下需要与pod相连接。pod中运行container,所以需要指定image,由于是mysql,所以还需要指定mysql的连接信息,如用户名和密码,端口等。最主要的,还需要挂载pvc,实现持久化存储,并最终将该存储映射到容器内的/var/lib/mysql路径下,实现数据的持久化。

以上都屡清楚后,就可以启动了,启动后,查看这4个模块的状态:

 [root@devhadoop225 k8s]#kubectl get pv

NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                   STORAGECLASS   REASON    AGE

nfs-pv   1Gi        RWO            Retain           Bound     default/mysql-pv-claim   nfs1                     18h

[root@devhadoop225 k8s]#kubectl get pvc

NAME             STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mysql-pv-claim   Bound    nfs-pv    1Gi        RWO            nfs1           18h

可以看到,pv和pvc已经实现了连接。忽略这里的nfs1,这是storageClassName: nfs1的配置,这个也可以不加。

[root@devhadoop225 k8s]#kubectl get svc

NAME            TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE

deployment-wp   NodePort   10.68.224.222           80:36661/TCP   5d

kubernetes      ClusterIP   10.68.0.1               443/TCP        9d

mysql-service   ClusterIP  None                    3306/TCP       16h

查看service也是正常的。

但查看pod时,出现了如下错误:

[root@devhadoop225 k8s]# kubectl logs

wordpress-mysql-6976864748-m2nph

Error from server: Gethttp://192.168.1.240:10250/containerLogs/default/wordpress-mysql-6976864748-m2nph/mysql:net/http: HTTP/1.x transport connection broken: malformed HTTP response"\x15\x03\x01\x00\x02\x02"

[root@devhadoop225 k8s]# kubectl describe

pods wordpress-mysql-6976864748-js75f

Warning BackOff                12s (x4over 41s)  kubelet, 192.168.1.229  Back-off restartingfailed container

在k8s node端,查看container的运行日志,也没有任何内容,查不着任何有用的信息,于是就一直卡在这个问题上。但此时,在node上查看磁盘挂载情况,是可以看到的:

这说明,deployment中pvc申请是成功的。

尝试去掉如下部分,再启动k8s mysq了,则一切正常:

这说明,问题就出现在了这部分上。但就是找不到问题的突破口。按上面的报错信息查找原因,根本找不出来原因。

就这样过了一下午······这其中,也排除了几个问题,比如NFS目录不能写入的问题;ReadWriteMany与ReadWriteOnce不对称的问题;还有之前由于没有配置pv,只配置了pvc就想实现持久化存储的问题;还有pv如何与pvc相关联的问题等等。

后来,经过摸索,尝试在kubelet上直接运行docker命令创建mysql,但是volumes需要绑定nfs配置目录到容器的/var/lib/mysql,即执行:

docker run -p 3316:3306 --name mysql -v/data/mysql/conf:/etc/mysql/conf.d -v/var/lib/kubelet/pods/777d6238-d75c-11e8-b75b-ea2abbd44791/volumes/kubernetes.io~nfs/nfs-pv:/var/lib/mysql-e MYSQL_ROOT_PASSWORD=123456 -d 192.168.1.229/project/mysql:5.7.18

同样是创建失败,查看logs发现报错如下:

changing ownership of '/var/lib/mysql/': Operation notpermitted

正是因为这个错误的暴露,才让我解决了整个k8s+mysql+pv+pvc+nfs的整套问题!!!

在搜索这个问题时,在Stack Overflow中找到如下内容:

提示说确实是与NFS的配置有关,NFS默认是squash_all模式,但是要想使用NFS目录,将目录映射到docker容器中,必须要配置成no_root_squash模式才行,否则root用户无权限使用nfs的volume来映射docker容器中的目录!!!

no_root_squash模式:是登入 NFS 主机使用分享目录的使用者,如果是 root 的话,那么对于这个分享的目录来说,他就具有 root 的权限!这个项目『极不安全』,不建议使用! 

这正是我遇到的问题,之前一直在排查k8s master节点的问题,查找资料有说是

kube-controller-manager的问题,但是排查一圈,没有发现问题。原来是NFS的问题啊,于是果断在NFS配置文件中增加了no_root_squash:

[root@dev252 etc]# more exports

#/home/centos7/ 192.168.1.0/24(insecure,rw,sync,fsid=0)

/home/centos7/nfs192.168.1.0/24(insecure,rw,sync,no_root_squash,fsid=0)

这样,再重启nfs后,再次通过k8s启动mysql service,就一切都正常了,可以正常创建pod,也可在240上正常创建容器了!

至此,就实现了k8s+mysql+pv+pvc+NFS的整套方案,首先是pv+pvc+NFS实现存储持久化;再将存储映射到容器中去,通过k8s实现容器编排,就完成了整套方案!!!

虽然花费了将近一天的时间,但是还是很值得的!!!

相关文章

  • k8s+mysql+pv+pvc+NFS实现mysql容器编排

    k8s+mysql+pv+pvc+NFS实现mysql容器编排 首先需要介绍概念:pv和pvc PV 是集群提供的...

  • docker-compose 一键构建LNMP

    lnmp lnmp的容器编排。 实现对多个容器的编排:nginx、mysql、php-fpm。支持一键构建启动和销...

  • docker 常用维护命令

    查看镜像列表 查看容器列表 查看容器日志 进入容器 停止所有容器 容器网络查询 停止运行编排: 运行编排: 删除运...

  • docker隔离升级版容器实现 kata-containers一

    简介 kata-containers是新的虚拟机实现,可以实现和现在容器生态无缝连接,与时下最流行的容器编排工具k...

  • 知识点

    知识点 容器本身没有价值,有价值的是“容器编排”。 容器,其实是一种特殊的进程而已。 Linux 容器的具体实现方...

  • K8S 基础概念

    了解什么是容器编排? 容器编排就是有关管理容器生命周期的全部工作,特别是在大型动态环境中。 软件团队使用容器编排来...

  • K8S部署应用的个人心得

    前言 关于 dockerK8S 是编排容器的技术平台, 容器技术的代表实现即为 docker, 因此, 操作 K8...

  • docker-compose搭建php开发环境

    什么是编排呢?编排指的是同时管理多个容器的行为。docker-compose 是docker开源的单机容器编排工具...

  • docker1--基础学习

    容器本身是没有价值的,有价值的是容器编排 容器是通过'边界'的方式实现的沙盒技术。容器技术的核心功能,就是通过约束...

  • SKIL/安装/Kubernetes

    Kubernetes Kubernetes是一个用于容器编排的开源工具。它在管理容器工作负载和实现集群及其部署的自...

网友评论

      本文标题:k8s+mysql+pv+pvc+NFS实现mysql容器编排

      本文链接:https://www.haomeiwen.com/subject/oghqtqtx.html