概述

本文以Ucloud云平台为例子，从控制台创建一个容器集群后，还需要完成一系列初始化工作，才能满足面向日常使用，准备工作如下：

1. 配置动态存储卷,例如 NFS协议的StorageClass
2. 安装容器应用的管理工具,例如 Helm
3. 配置网关服务，例如nginx-ingress

配置动态存储卷

1. 如果集群内未创建StorageClass 配置，首先在ucloud 控制台创建UFS存储，选择 k8s集群所在的vpc 子网 创建UFS挂载点，StorageClass部署参考 https://github.com/panhaitao/k8s-app/tree/main/deploy-for-k8s/StorageClass-UFS

git clone https://github.com/panhaitao/k8s-app.git
cd k8s-app/deploy-for-k8s/StorageClass-UFS/

2. 修改 deployment.yaml 配置中 挂载点ufs_server_ip 和storage 大小，顺序执行如下命令:

kubectl  apply -f deployment.yaml
kubectl  apply -f rbac.yaml
kubectl  apply -f class.yaml

3. 检查确认
   执行命令：kubectl get pod 返回如下结果为正常

NAME                                      READY   STATUS    RESTARTS   AGE
nfs-client-provisioner-58886b744d-dg7gh   1/1     Running   0          6m39s

执行命令：kubectl  get sc 返回结果包含如部分为正常
ufs-nfsv4-storage (default)   ucloud/ufsprovisioner   Delete          Immediate              false                  12m 

安装 Helm 包管理器

Helm 类似 Linux 操作系统中的包管理工具，如 CentOS 发行版中的的 yum，Debian发行版中的的 apt。Helm 让 Kubernetes 的用户可以像安装软件包一样，轻松查找、部署、升级或卸载各种容器软件包，推荐安装使用helm v3版本，登录k8s集群任意一台master，执行如下命令

wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz #或
wget https://mirrors.huaweicloud.com/helm/v3.5.2/helm-v3.5.2-linux-amd64.tar.gz 
tar -xf helm-v3.5.2-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/
chmod 755 /usr/bin/helm

配置ingress网关服务

部署一个公网 LB 版的 nginx ingress

helm repo add ingress https://kubernetes.github.io/ingress-nginx
helm repo update
kubectl create namespace ingress-nginx
helm install ingress-nginx ingress/ingress-nginx -n ingress-nginx 

如果在国内拉取官方镜像导致部署失败，可以将ingress-nginx需要的镜像推送到自有镜像仓库，然后使用自有镜像仓库参考操作如下：

1. 将官方镜像上传的自有镜像仓库, (以仓库地址:

uhub.service.ucloud.cn/ucloud_pts为例) 参考操作如下:
docker pull k8s.gcr.io/ingress-nginx/controller:v0.45.0
docker pull docker.io/jettech/kube-webhook-certgen:v1.5.1

docker tag k8s.gcr.io/ingress-nginx/controller:v0.45.0 uhub.service.ucloud.cn/ucloud_pts/controller:v0.45.0
docker tag docker.io/jettech/kube-webhook-certgen:v1.5.1 uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen:v1.5.1

docker push uhub.service.ucloud.cn/ucloud_pts/controller:v0.45.0
docker push uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen:v1.5.1

2. 创建 docker-registry类型的secrets

kubectl create namespace ingress-nginx
kubectl delete secret registry-secret-name -n ingress-nginx
kubectl create secret docker-registry registry-secret-name \
--namespace=ingress-nginx                                  \
--docker-server=uhub.service.ucloud.cn/ucloud_pts          \
--docker-username='xxxxxxxxx'                              \
--docker-password='xxxxxxxxx'

3. 使用自有仓库来部署ingress-nginx

cat > ingress-value.yaml << EOF
imagePullSecrets: 
  - name: registry-secret-name
controller:
  name: controller
  ingressClass: nginx
  image:
    repository: uhub.service.ucloud.cn/ucloud_pts/controller
    tag: "v0.45.0"
    digest: sha256:c892e4e39885a16324d38b213d0dd42f56d183e93836b28d051c5476b1418bc1
  admissionWebhooks:
    patch:
      enabled: true
      image:
        repository: uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen
EOF
helm del ingress-nginx -n ingress-nginx
helm upgrade --install ingress-nginx ingress/ingress-nginx -n ingress-nginx --values=ingress-value.yaml

部署一个内网 LB 版的 nginx ingress

1. 为内网LB版本的ingress创建一个独立的命名空间和docker-registry，(以仓库地址: uhub.service.ucloud.cn/ucloud_pts为例) 参考操作如下:

kubectl create ns ingress-inner
kubectl create secret docker-registry registry-secret-name \
--namespace=ingress-inner                                  \
--docker-server=uhub.service.ucloud.cn/ucloud_pts          \
--docker-username='xxxxxxxxxxx'                            \
--docker-password='xxxxxxxxxxx'

2. 获取 ingress-nginx chart包，修改为定制的ULB内网版本

helm repo add ingress https://kubernetes.github.io/ingress-nginx
helm repo update
helm fetch ingress/ingress-nginx
tar -xvpf ingress-nginx-3.33.0.tgz

编辑 ingress-nginx/Chart.yaml 修改以下字段
name: ingress-nginx-inner

修改 ingress-nginx/templates/controller-service.yaml 追加如下配置
metadata:
  annotations:
    service.beta.kubernetes.io/ucloud-load-balancer-type: inner   

2. 安装修改后的chart包

helm package ingress-nginx
cat > ingress-inner-value.yaml << EOF
imagePullSecrets:
  - name: registry-secret-name
controller:
  name: controller
  ingressClass: nginx-inner
  image:
    repository: uhub.service.ucloud.cn/ucloud_pts/controller
    tag: "v0.45.0"
    digest: sha256:c892e4e39885a16324d38b213d0dd42f56d183e93836b28d051c5476b1418bc1
  admissionWebhooks:
    patch:
      enabled: true
      image:
        repository: uhub.service.ucloud.cn/ucloud_pts/kube-webhook-certgen
EOF
helm del ingress-inner -n ingress-inner
helm upgrade --install ingress-inner /root/ingress-nginx-inner-3.33.0.tgz -n ingress-inner --values=ingress-inner-value.yaml

3. [可选]如果需要开启promethus metrics 可以在controller字段 追加如下配置

controller:
  metrics:
    port: 10254
    enabled: true
    service:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "10254"
      servicePort: 10254
      type: LoadBalancer

然后执行helm更新部署即可，例如：

helm upgrade --install ingress-nginx ingress/ingress-nginx -n ingress-nginx --values=ingress-value.yaml

验证部署，执行命令：helm list -A 返回类似如下部分的结果，说明部署成功

NAME                 NAMESPACE            REVISION        UPDATED                                        STATUS          CHART                             APP VERSION
ingress-inner        ingress-inner        1               2021-06-17 14:27:57.664696407 +0800 CST        deployed        ingress-nginx-inner-3.33.0        0.47.0
ingress-nginx        ingress-nginx        1               2021-06-17 14:04:02.195360842 +0800 CST        deployed        ingress-nginx-3.33.0              0.47.0

总结

以上只是作为初始化容器集群的基本工作，扩展开来讨论，可能还要涉及一下几部分：

1. 如果涉及微服务，还需要部署一套微服务注册中心，API网关等基础组件
2. 如果涉及多集群管理，需要完整对接管理集群的配置，例如 rancher agent
3. 如果对接监控系统，需要部署日志，事件监控等监控数据上报 agent