1 创建集群前检查

kubernetes 基本组件有

kubernetes 基本组件.png

参考安装 kubeadm

① 确保集群中的节点是 Linux 系统

② 确保每个节点上 MAC 地址和 product_uuid 的唯一性

● 使用命令 ip link 或 ifconfig -a 来获取网络接口的 MAC 地址
● 使用 sudo cat /sys/class/dmi/id/product_uuid 命令对 product_uuid 校验

③ 确保所有机器的网络彼此均能相互连接(公网和内网都可以)

④ 允许 iptables 检查桥接流量

显式加载模块 modprobe br_netfilter，可执行 sudo modprobe br_netfilter，Linux 节点上的 iptables 能够正确地查看桥接流量，确保在 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1

$cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

$cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$sudo sysctl --system

⑤ 检查所需端口

控制平面节点：

协议	方向	端口范围	作用	使用者
TCP	入站	6443	Kubernetes API 服务器	所有组件
TCP	入站	2379-2380	etcd 服务器客户端 API	kube-apiserver, etcd
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	10251	kube-scheduler	kube-scheduler 自身
TCP	入站	10252	kube-controller-manager	kube-controller-manager 自身

工作节点：

协议	方向	端口范围	作用	使用者
TCP	入站	10250	Kubelet API	kubelet 自身、控制平面组件
TCP	入站	30000-32767	NodePort 服务†	所有组件

2 安装 Kubeadm

如下图所示，Kubeadm 在完整 Kubernetes 堆栈中的位置。

Kubeadm 在完整 Kubernetes 堆栈中的位置.png

kubeadm：用来初始化集群的指令。
kubelet：在集群中的每个节点上用来启动 Pod 和容器等。
kubectl：用来与集群通信的命令行工具。

基于 Debian 的发行版安装 kubelet、kubeadm 和 kubectl

### 更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包
$sudo apt-get update
$sudo apt-get install -y apt-transport-https ca-certificates curl

### 下载 Google Cloud 公开签名秘钥
$sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

### 更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本
$sudo apt-get update
$sudo apt-get install -y kubelet kubeadm kubectl
$sudo apt-mark hold kubelet kubeadm kubectl

3 使用 Kubeadm 安装基本集群

参考使用 kubeadm 创建集群

3.1 初始化控制平面

参考kubeadm init 命令详解

将单个控制平面 kubeadm 集群升级成高可用， 可以指定 --control-plane-endpoint "xxx:6443" 为所有控制平面节点设置共享端点，其中端点 xxx 可以是负载均衡器的 DNS 名称或 IP 地址。

$kubeadm init --control-plane-endpoint=cluster-endpoint:6443  \
                       --apiserver-advertise-address=10.163.10.6 \
                       --pod-network-cidr=192.168.0.0/16 \
                       --upload-certs
# --control-plane-endpoint 可用于为所有控制平面节点设置共享端点， 允许 IP 地址和可以映射到 IP 地址的 DNS 名称，例如 192.168.0.102 cluster-endpoint
# --apiserver-advertise-address 可用于为控制平面节点的 API server 设置广播地址
# --pod-network-cidr 指明 pod 网络可以使用的 IP 地址段。如果设置了这个参数，控制平面将会为每一个节点自动分配 CIDRs。
# 将控制平面证书上传到 kubeadm-certs Secret

# 默认情况下，出于安全原因，你的集群不会在控制平面节点上调度 Pod。 如果你希望能够在控制平面节点上调度 Pod， 例如用于开发的单机 Kubernetes 集群
$kubectl taint nodes --all node-role.kubernetes.io/master-
node "test-01" untainted
taint "node-role.kubernetes.io/master:" not found
taint "node-role.kubernetes.io/master:" not found

3.2 安装容器运行时

参考容器运行时

3.3 安装 Pod 网络附加组件

说明：必须部署一个基于 Pod 网络插件的容器网络接口 (CNI)，以便 Pod 可以相互通信。 在安装网络之前，集群 DNS (CoreDNS) 将不会启动。
注意：
① Pod 网络不得与任何主机网络重叠。如果发现网络插件的首选 Pod 网络与某些主机网络之间存在冲突， 则应考虑使用一个合适的 CIDR 块来代替， 然后在执行 kubeadm init 时使用 --pod-network-cidr 参数并在你的网络插件的 YAML 中替换它。
② 默认情况下 kubeadm 将集群设置为使用和强制使用 RBAC（基于角色的访问控制）。 确保 Pod 网络插件支持 RBAC，以及用于部署它的 manifests 也是如此。

安装网络插件，可以参考网络插件、kubelet 命令

### 类型 1：cni 网络插件
# CNI 插件可执行文件位于 --cni-bin-dir（默认是 /opt/cni/bin）下， CNI 插件配置位于 --cni-conf-dir（默认是 /etc/cni/net.d）
$kubelet --network-plugin=cni --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d
# 查看 kubelet 参数详情
$ps -ef | grep kubelet
# 重新启动 kubelet 以使更改生效
$systemctl daemon-reload
$systemctl restart kubelet
$vi /opt/cni/net.d/10-flannel.conflist
{
  "name": "cbr0",
  "cniVersion": "0.3.1",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}

### 类型 2：kubenet 网络插件
# CNI bridge，lo 和 host-local 插件位于 /opt/cni/bin 或 cni-bin-dir 中
$kubelet --network-plugin=kubenet --cni-bin-dir=/opt/cni/bin --cni-conf-dir=/etc/cni/net.d

3.5 加入节点

# 在 master 控制平面节点获取 token
$kubeadm token list
TOKEN                    TTL  EXPIRES              USAGES           DESCRIPTION            EXTRA GROUPS
8ewj1p.9r9hcjoqgajrj4gi  23h  2018-06-12T02:51:28Z authentication,  The default bootstrap  system:
                                                   signing          token generated by     bootstrappers:
                                                                    'kubeadm init'.        kubeadm:
                                                                                           default-node-token
# 如果 list 没有 token，即默认情况下，令牌会在24小时后过期。
$kubeadm token create
5didvk.d09sbcov8ph2amjw
# 自动生成带 token 的 join 命令：
$kubeadm token create --print-join-command
kubeadm join --token 5didvk.d09sbcov8ph2amjw 192.168.0.102:6443 --discovery-token-ca-cert-hash sha256:8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78

# 在 master 控制平面节点获取 hash
$openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'
8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78

# 添加当前节点的步骤：
# 1.拷贝 docker 配置到 node-1
# 2.首先 SSH 到机器, 成为 root （例如 sudo su -），然后执行 kubeadm join 添加当前节点
# 3.添加节点 kubeadm join
$scp /etc/docker/daemon.json  192.168.0.102:/etc/docker
$ssh node-1
$sudo su
kubeadm join --token 5didvk.d09sbcov8ph2amjw 192.168.0.102:6443 --discovery-token-ca-cert-hash sha256:8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78
[preflight] Running pre-flight checks

... (log output of join workflow) ...

Node join complete:
* Certificate signing request sent to control-plane and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on control-plane to see this machine join.

# 在 master 查询 node
$kubectl get nodes

3.4 清除节点和控制平面

### 方式 1：删除集群对本地的引用
$kubectl config delete-cluster
# 配置不把 Pod 调度到节点 node-1   $kubectl cordon  node-1

### 方式 2：彻底还原节点 node-1
# 使用适当的凭证与控制平面节点通信
$kubectl drain node-1 --delete-emptydir-data --force --ignore-daemonsets
# 在删除节点之前，请重置 kubeadm 安装的状态
$kubeadm reset
# 重置过程不会重置或清除 iptables 规则或 IPVS 表。如果希望重置 iptables，则必须手动进行
$iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
# 重置 IPVS 表
$ipvsadm -C
# 删除节点 node-1
$kubectl delete node node-1

# 清理控制平面
$kubeadm reset