kubernetes高可用集群部署 - 1. 生成证书

由于google官方目前没有提供kubeadm多master部署方案, 如果在生产环境, 我们不能使用kubeadm部署, 一旦master宕机, 这个风险是非常大的. 所以只能按照二进制方式部署k8s. 这里部署环境主要以阿里云经典网络为例

环境信息

• CentOS 7.3
• Kubernetes1.6.1(kube-apiserver, kube-controller-manager, kube-scheduler, kubelet, kube-proxy, kubectl)
• Docker1.12
• ETCD
• Flannel

准备工作:

• 两台或以上云主机作为ETCD集群 (这里以192.168.1.50, 192.168.1.51为例)
• 两台或以上云主机作为Master集群 (这里以192.168.1.100, 192.168.1.101为例)
• 两台或以上云主机作为Node集群 (这里以192.168.1.200, 192.168.1.201为例)

• 两台SLB或有安装Nginx服务的主机 (这里以192.168.1.88为例)

如果是自己验证学习, 可能拿不出这么多台服务器, 好在现在有很多云服务商(比如阿里云)有按量付费的云服务, 所以租用十天半个月下来也花不了多少钱. 另外不建议大家在虚拟机上安装, 有很多不可预知的坑

开始生成证书:

我们所有服务器使用同一套证书, 所以需要事先在一台服务器生成好, 然后再复制到其他服务器, 这里选择其中一台服务器

1. 配置生成工具

# 创建目录并下载文件
mkdir -p /opt/k8s/cfssl
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
# 移动修改文件名
mv cfssl_linux-amd64 /opt/k8s/cfssl/cfssl
mv cfssljson_linux-amd64 /opt/k8s/cfssl/cfssljson
mv cfssl-certinfo_linux-amd64 /opt/k8s/cfssl/cfssl-certinfo
# 设置可执行权限
chmod +x /opt/k8s/cfssl/*

# 添加到环境变量, 底部追加
vi /etc/profile
##############################################
export PATH=$PATH:/opt/k8s/cfssl
##############################################

# 使之生效
source /etc/profile

2. 创建ca证书

# 创建 CA 配置文件
mkdir -p /opt/k8s/ssl
cd /opt/k8s/ssl

cfssl print-defaults config > config.json
cfssl print-defaults csr > csr.json

tee ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

• ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；
• signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
• server auth：表示client可以用该 CA 对server提供的证书进行验证；
• client auth：表示server可以用该CA对client提供的证书进行验证；

# 创建 CA 证书签名请求
tee ca-csr.json << EOF
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Shenzhen",
      "L": "Shenzhen",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

• CN：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
• O：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)；

# 生成 CA 证书和私钥
cfssl gencert -initca ca-csr.json | cfssljson -bare ca
ll ca*

3. 创建 kubernetes 证书

tee kubernetes-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "127.0.0.1",
      "192.168.1.88",
      "10.254.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "Shenzhen",
            "L": "Shenzhen",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

• 192.168.1.88: SLB的ip地址
• 10.254.0.1: service-cluster-ip-range 网段的第一个IP
  如果配置了etcd集群https, 想使用这个证书, 也需要将etcd所在的服务器ip加入其中

# 生成 kubernetes 证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
ll kubernetes*

4. 创建 admin 证书

tee admin-csr.json << EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Shenzhen",
      "L": "Shenzhen",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF

• 后续 kube-apiserver 使用 RBAC 对客户端(如 kubelet、kube-proxy、Pod)请求进行授权；
• kube-apiserver 预定义了一些 RBAC 使用的 RoleBindings，如 cluster-admin 将 Group system:masters 与 Role cluster-admin 绑定，该 Role 授予了调用kube-apiserver 的所有 API的权限；
• OU 指定该证书的 Group 为 system:masters，kubelet 使用该证书访问 kube-apiserver 时 ，由于证书被 CA 签名，所以认证通过，同时由于证书用户组为经过预授权的 system:masters，所以被授予访问所有 API 的权限

# 生成 admin 证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
ls admin*

5. 创建 kube-proxy 证书

tee kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Shenzhen",
      "L": "Shenzhen",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

• CN 指定该证书的 User 为 system:kube-proxy；
• kube-apiserver 预定义的 RoleBinding cluster-admin 将User system:kube-proxy 与 Role system:node-proxier 绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限；

# 生成 kube-proxy 客户端证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy
ll kube-proxy*

6. 分发证书

将生成的证书和秘钥文件（后缀名为.pem）拷贝到所有机器的 /etc/kubernetes/ssl 目录下备用；

mkdir -p /etc/kubernetes/ssl
cp *.pem /etc/kubernetes/ssl

其他机器可以通过scp命令, 将/etc/kubernetes/ssl中的证书远程复制过去

高可用部署系列

-> Kubernetes高可用集群部署 - 1. 生成证书
Kubernetes高可用集群部署 - 2. ETCD集群
Kubernetes高可用集群部署 - 3. kubectl工具配置
Kubernetes高可用集群部署 - 4. master集群
Kubernetes高可用集群部署 - 5. node集群
Kubernetes高可用集群部署 - 6. DNS配置

相关服务

Kubernetes配置secret拉取私仓镜像
Kubernetes目录挂载
Kubernetes Ingress使用
Kubernetes限制pod的cpu和内存
Helm部署Kubernetes应用
Kubernetes监控(Heapster)
Kubernetes监控(coreos/prometheus-operator)