k8s基础环境搭建

一. 节点概览

IP地址	节点名称	系统	描述
192.168.10.200	node-master	CentOS 7	主节点
192.168.10.199	node-slave-1	Ubuntu Server 22.04	工作节点1
192.168.10.198	node-slave-2	Ubuntu Server 20.04	工作节点2

注: 如你所见,三台服务器的系统都不统一

二. 前置条件

1. 设置节点主机名

首先是 192.168.10.200 设置为主节点

hostname node-master # 临时生效
hostnamectl set-hostname node-master # 永久生效

然后是 192.168.10.199 设置为工作节点一

hostname node-slave-1
hostnamectl set-hostname node-slave-1

最后是 192.168.10.198 设置为工作节点二

hostname node-slave-2
hostnamectl set-hostname node-slave-2

2.添加IP与主机名的地址解析指向 (所有服务器都需要执行)

cat >> /etc/hosts << EOF
192.168.10.200 node-master
192.168.10.199 node-slave-1
192.168.10.198 node-slave-2
EOF

3.关闭swap

swapoff -a # 临时关闭

永久关闭需要编辑/etc/fstab文件,将其中的swap.img的挂载项注释掉

4.关闭防火墙

CentOS

systemctl stop firewalld
systemctl disable firewalld

Ubuntu

ufw disable

5.关闭SELinux (CentOS)

setenforce 0  # 临时关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭

6.桥接设置

cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

三.安装Docker

建议使用镜像源加速,此处以清华镜像源为例,参考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/
CentOS

# 先删除旧版软件包
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
# 安装依赖项
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 替换为清华镜像地址
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# 创建yum缓存
yum makecache fast
# 安装docker-ce
yum install docker-ce

Ubuntu

# 删除旧版软件包
apt remove docker docker-engine docker.io containerd runc
# 安装依赖项
apt install apt-transport-https ca-certificates curl gnupg2 software-properties-common
# 添加GPG公钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
# 添加仓库
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
# 更新软件源
apt update
# 安装docker-ce
apt install docker-ce

然后把docker设置为开机启动

systemctl enable docker

把docker的cgroup设置为与k8s一致

vim /etc/docker/daemon.json

顺便设置个Docker Hub镜像地址吧,参考如下配置

{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
  "exec-opts": [
    "native.cgroupdriver=systemd"
  ]
}

最后重启docker

systemctl daemon-reload
systemctl restart docker

四.安装Kubernetes

1.安装kubernetes工具

建议使用镜像源加速,此处以阿里云为例,参考https://developer.aliyun.com/mirror/kubernetes
CentOS

# 添加源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 重建yum缓存
yum makecache fast
# 安装kubernetes工具
yum install -y kubelet kubeadm kubectl
# 设置kubelet服务开机启动
systemctl enable kubelet
# 启动kubelet服务
systemctl start kubelet

如需查看版本请使用以下命令

yum list kubelet --showduplicates | sort -r

指定版本安装,以1.23.14为例

yum install -y kubeadm-1.23.14 kubectl-1.23.14 kubelet-1.23.14

Ubuntu

# 安装依赖项
apt install -y apt-transport-https
# 导入GPG证书
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
# 添加源
cat > /etc/apt/sources.list.d/kubernetes.list << EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
# 更新软件源
apt update
# 安装Kubernetes工具
apt install -y kubeadm kubectl kubelet

如需查看版本请使用以下命令

apt-cache madison kubelet

指定版本安装,以1.23.14为例

apt install -y kubeadm=1.23.14-00 kubectl=1.23.14-00 kubelet=1.23.14-00

2.执行初始化

如需单独下载组件镜像可以使用以下脚本

#!/bin/bash

# 使用kubeadm获取准确的镜像依赖版本
images=$(kubeadm config images list | grep k8s.gcr.io)

# 遍历依赖组件
for name in ${images[@]}; do
        # 替换为可用的镜像地址
        echo -e "\e[32mPULL ----> $name\e[0m"
        temp=$(echo $name | sed -e "s?k8s.gcr.io?registry.aliyuncs.com/google_containers?")
        temp=$(echo $temp | sed -e "s?/coredns/?/?")

        # 拉取镜像
        echo -e "\e[32mPROXY ---> $temp\e[0m"
        docker pull $temp

        # 重命名镜像
        echo -e "\e[32mRENAME --> $temp\e[0m"
        echo -e "\e[32mTO ------> $name\e[0m"
        docker tag $temp $name

        # 删除重命名前的镜像
        echo -e "\e[32mREMOVE --> $temp\e[0m"
        docker rmi $temp
done

echo -e "\e[32mSUCCESS!\e[0m"

使用kubeadm init初始化主节点

kubeadm init \
  --apiserver-advertise-address=192.168.10.200 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.23.14 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.60.0.0/16

--apiserver-advertise-address指定apiserver的IP地址
--image-repository指定使用的镜像仓库,默认是k8s.gcr.io
--kubernetes-version指定k8s的版本
--service-cidr与--pod-network-cidr配置的地址只要不与当前服务器IP网段冲突即可

如果初始化出错,可以使用以下命令重置

kubeadm reset

初始化完成之后在主节点执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3.将工作节点加入到集群

初始化完成之后会给你一条命令,大概如下

kubeadm join 192.168.10.200:6443 --token js19ad.zgk6eocm3bn4lzzp \
        --discovery-token-ca-cert-hash sha256:11b6f8d45c68d19d26a32b951ec3602d45af226ac71f0982ce474b6e769fde39

只需要复制这条命令,然后在所有工作节点的服务器执行即可,之后可通过kubectl get nodes查询所有节点

NAME           STATUS     ROLES                  AGE     VERSION
node-master    NotReady   control-plane,master   5m34s   v1.23.14
node-slave-1   NotReady   <none>                 51s     v1.23.14
node-slave-2   NotReady   <none>                 17s     v1.23.14

如果忘记token或token过期可使用以下命令新建一个

kubeadm token create --print-join-command

4.安装CNI

加入节点后所有节点都处于NotReady状态,需要安装CNI插件,这里以使用flannel为例

# 下载flannel的yaml
wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
# 应用到集群
kubectl apply -f kube-flannel.yml

之后稍等片刻后再次执行kubectl get nodes即可看到所有节点变为Ready状态

NAME           STATUS   ROLES                  AGE   VERSION
node-master    Ready    control-plane,master   17m   v1.23.14
node-slave-1   Ready    <none>                 12m   v1.23.14
node-slave-2   Ready    <none>                 11m   v1.23.14

五.证书过期之后的处理

手动更新kubernetes证书的所有操作都在主节点执行,建议操作前先备份/etc/kubernetes文件夹

cp -r /etc/kubernetes /etc/kubernetes.bak

然后手动重建证书

kubeadm certs renew all

重建完成之后可以查看证书的有效期

kubeadm certs check-expiration

之后需要删除原来的配置文件

rm -rf /etc/kubernetes/*.conf

然后重新生成新的配置文件

kubeadm init phase kubeconfig all

之后重启kubelet服务

systemctl restart kubelet

然后把/etc/kubernetes/admin.conf复制到~/.kube/config下覆盖

cp /etc/kubernetes/admin.conf ~/.kube/config

这时候就完成了证书更新

六.注意事项

由于Kubernetes自1.24.0版本起弃用docker,转而使用更底层的containerd,所以1.24.0及以上的版本如果想继续使用docer作为容器运行时就需要额外安装cri-dockerd