etcd数据备份

本文讲述了如何使用operator来备份etcd数据和恢复备份的数据

数据备份

1、首先获取chart包

docker pull huimin123/etcd-backup-chart:v0.0.1
docker run -it -d  huimin123/etcd-backup-chart:v0.0.1
docker cp 4ab5f88d3f15:/opt/etcdbackuper-1.0.2.tgz /data/

2、获取chart包后填入values.yaml对应的信息

replicas: 1
conf:
  namespace: etcd-ops
  serviceAccount: etcd-operator
  clusterRole: etcd-operator-clusterrole
  clusterRoleBinding: etcd-operator-bind
  secretName: etcd-v3-secret
  storageClsName: csi-cephfs-sc
  storageRequest: 24Gi
  hostPath:
  image: huimin123/etcd-backup-operator:v0.0.1
  imagePullPolicy: Always
  certs:
    cacrt: xxx
    clientcrt: xxx
    clientkey: xxx

备份的数据存储方式支持使用pv的方式和hostPath的方式，如果使用pv的方式则需要填写storageClsName对应的storage class name的值和创建pv时需要申请的磁盘的容量storageRequest；如果是使用hostPath的方式存储备份数据，则需要填写hostPath对应的值如/data/etcdbackup/另外需要将此目录提前创建好，并且赋给此目录777权限；最后需要修改对应的ca.crt和etcd的证书，conf.certs.cacrt、conf.certs.clientcrt、conf.certs.clientkey分别对应secret中的etcd-ca.cr、etcd.crt、 etcd.key。
3、信息填写好后安装chart包：

helm install etcdbackuper etcdbackuper

4、安装好后部署cr，触发数据备份服务开始备份数据：

apiVersion: etcd.database.coreos.com/v1beta2
kind: EtcdBackup
metadata:
  annotations:
  generation: 1
  labels:
    clusterName: gz-vpc-etcd-03
    region: gz
    source: etcd-life-cycle-operator
  name: gz-vpc-etcd-03
  namespace: etcd-ops
spec:
  backupPolicy:
    backupIntervalInSecond: 60
    maxBackups: 3
    timeoutInSecond: 600
  clientTLSSecret: etcd-v3-secret
  hostPath:
    path: /data/
  etcdEndpoints:
  - https://10.0.31.1:2379
  - https://10.0.31.2:2379
  - https://10.0.31.3:2379
  insecureSkipVerify: false
  storageType: HostPath

● backupIntervalInSecond: 表示多长时间备份一次，生产环境建议一小时备份一次即3600。
● maxBackups：存储的最大备份数，当超过这个数时，etcdoperator会自动将旧的备份数据清理掉。因为一份备份数据最大8G，生产环境建议根据宿主机磁盘空间来决定，默认是3份，最大也只需要50。
● etcdEndpoints：etcd的访问接口，tke集群填<masterip>:2379
可以查看对应的服务是否正常运行：

kubectl -n etcd-ops get pods
NAME                            READY   STATUS    RESTARTS   AGE
etcdbackuper-75ffb7ccf4-xmpgq   1/1     Running   0          60m

查看对应的目录备份的数据

ls /data/etcdbackup/
etcdbackup_v7754519_2022-12-07-16:36:16  etcdbackup_v7755359_2022-12-07-16:38:16
etcdbackup_v7754941_2022-12-07-16:37:16

数据恢复

• 首先获取etcdctl

kubectl cp kube-system/<etcd-pod-name>:/usr/local/bin/etcdctl /usr/local/bin/etcdctl

• 将数据进行备份

cp -r /var/lib/etcd /var/lib/etcd.bak

• 执行数据恢复操作，每台etcd节点上都需要执行恢复操作命令，需要将从etcd挂的时间点开始所有的备份数据考到etcd节点上。参考如下命令（注意如下命令中三节点分别被命名为etcd-0，etcd-1，etcd-2，则--initial-cluster中要对应地填写各个节点ip。如果是以systemd方式启动的etcd，需要加--data-dir=/var/lib/etcd/default.etcd）
  如下在第一台·10.1.31.1·节点上恢复数据：

ETCDCTL_API=3 etcdctl snapshot restore /data/etcdbackup/etcdbackup数据 --name etcd-0 --initial-cluster "etcd-0=https://10.1.31.1:2380,etcd-1=https://10.1.31.2:2380,etcd-2=https://10.1.31.3:2380" --initial-cluster-token etcd-cluster --initial-advertise-peer-urls https://10.1.31.1:2380

依次在其他的etcd节点执行恢复操作。

• 所有etcd启动完成后，检查etcd集群状态，endpoints填写对应的etcd IP信息。

$ ETCDCTL_API=3 etcdctl --cacert=etcd-ca.crt --cert=etcd.crt --key=etcd.key --endpoints=https://10.1.31.1:2379,https://10.1.31.2:2379,https://10.1.31.3:2379 endpoint health

代码链接：https://github.com/kstone-io/kstone