Kubernetes v1.15.0 集群的安装部署（精简版）

软硬件要求

软硬件	最低配置	推荐配置
CPU 和 内存	Master：至少2核4G、 Node：至少4核16G	Master：4核16G、 Node：根据运行的容器数量进行配置
Linux 操作系统	基于 x86_64 架构的各种Linux 发行版，Kernel 3.10 以上	Red Hat Linux 7 CentOS 7
etcd	3.0 版本及以上	3.3 版本
Docker	18.03 版本及以上	18.09 版本

机器准备

角色	主机名称	内网 IP	配置	系统
Master	KubernetesMaster	192.168.0.123	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode1	192.168.0.122	2 核 4 G	CentOS 7.6.5
Node	KubernetesNode2	192.168.0.121	2 核 4 G	CentOS 7.6.5

注：这里只是做环境测试，故只满足了官方要求的最低 2 核 2 G

部署步骤

使用 kubeadm 部署 kubernetes 主要有以下四个步骤：

1. 安装 Docker （所有主机）
2. 安装 Kubeadm（所有主机）
3. 基础环境配置（所有主机）
4. 创建 Kubernetes 集群

---

一. 安装 Docker（所有主机）

安装 Docker 引擎，主要执行以下步骤：

1. 安装 Docker 需要的一些系统工具
2. 设置 Docker 的 yum 仓库源
3. 安装并启动 Docker
4. 调整 Docker 部分参数（主要是配合 Kubernetes 的一些配置）

# 1. 安装必要的一些系统工具
yum install -y yum-utils device-mapper-persistent-data lvm2

# 2. 设置 Docker 的 yum 仓库源（稳定存储库: 阿里云源）
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

# 3. 安装并启动 Docker
yum install -y docker-ce
systemctl start docker && systemctl enable docker 

# 4. 调整 Docker 部分参数（修改国内镜像加速: 阿里云镜像、修改cgroup 驱动）
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
 "registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"],
 "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload && systemctl restart docker

---

二. 安装 Kubeadm（所有主机）

安装 Kubeadm 主要有以下三个步骤：

1. 配置 Kubernetes 的 yum 仓库源（这里选用阿里的源，你懂的）
2. 安装 Kubeadm 和相关工具
3. 启动 Kubelet

# 1. 设置 Kubernetes 的 yum 仓库源（阿里云源）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 2. 安装 Kubeadm 和相关工具
yum install -y kubelet kubeadm kubectl

# 3. 启动 Kubelet
systemctl start kubelet && systemctl enable kubelet

---

三. 基础环境配置（所有主机）

基础环境配置，主要执行以下步骤：

1. 设置各节点时间精确同步
2. 关闭 firewalld/iptables 防火墙
3. 关闭 SElinux 安全模组
4. 关闭 Swap 交换分区
5. 导入 IPVS 模块
6. 修改 Bridge 桥接规则
7. 开启 iptables 的 FORWARD 转发链
8. 配置 Hosts 解析

# 1. 设置各节点时间精确同步
systemctl start chronyd.service && systemctl enable chronyd.service

# 2. 关闭 firewalld 防火墙（允许 master 和 node 的网络通信）
systemctl stop firewalld && systemctl disable firewalld

# 3. 关闭 SElinux 安全模组（让容器可以读取主机的文件系统）
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config

# 4.  关闭 Swap 交换分区（启用了 Swap，则 Qos 策略可能会失效）
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

# 5. 导入 IPVS 模块（用来为大量服务进行负载均衡）
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 6.  修改 Bridge 桥接规则（部分 Docker 安装时会为我们修改，这里统一进行手动修改）
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system

# 7. 开启 iptables 的 FORWARD 转发链（Docker 1.13 后禁用了 FORWARD 链，这可能会引起 Pod 间无法通信）
iptables -P FORWARD ACCEPT
sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/
lib/systemd/system/docker.service
systemctl daemon-reload

# 8.  配置 Hosts 解析（添加 k8s 所有节点的 IP 和对应主机名，否则初始化的时候会出现告警甚至错误）
tee /etc/hosts <<-'EOF'
::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
192.168.0.123 kube-master
192.168.0.122 kube-node1
192.168.0.121 kube-node2
EOF

# 9. 安装一些必要的工具（这些工具在以后的命令中会用到）
yum install -y ipset
yum install -y ipvsadm
yum install -y bind-utils

---

四. 创建 Kubernetes 集群

创建 Kubernetes 集群主要有两个步骤：

1. 初始化 Master 节点
2. 初始化 Node 节点

1. 初始化 Master 节点

初始化 Master 节点，主要有四个步骤：

1. 执行初始化
2. 复制(分发)配置文件
3. 安装 CNI 网络插件
4. 检查 Master 的 Pod 及 集群状态

1. 执行初始化

• 较少自定义配置时，采用 配置参数 的方式进行初始化

kubeadm init --kubernetes-version=v1.15.0 \
--pod-network-cidr=<network-segment> \
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

• 较多自定义配置时，采用配置文件 的方式进行初始化

# 获取默认初始化配置文件
kubeadm config print init-defaults > kubeadm-init.yaml

# 修改为自定义初始化配置文件
cat > master-init.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
 advertiseAddress: 192.168.0.123
 bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
 dnsDomain: cluster.local
 podSubnet: <network-segment>
EOF

# 执行初始化
kubedam init --master-init.yaml

注意：
初始化之后会安装网络插件，由于各个网络插件使用的网段不一样，
故需对 命令中的--pod-network-cidr=<network-segment> 或文件中的 podSubnet: <network-segment> 进行自定义配置，
Calico 的默认网段：192.168.0.0/16，Flannel 的默认网段：10.244.0.0/16

输出以下内容表示成功：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.0.123:6443 --token b0syjo.7q877s663mc1rbni \
    --discovery-token-ca-cert-hash sha256:cdbcbb721002cac7a7b347295922eabe65342e111a67d7f7acce50d0d9d8f27f
// 上面一句是 Node 节点加入集群的命令，记得保存一下

2. 按照提示，复制配置文件到普通用户目录

• 非 root 用户

# 拷贝配置文件到 Master 节点
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config
# 记得在 Node 上进行授权，sudo chown $(id -u):$(id -g) $HOME/.kube/config

• root 用户

# 拷贝配置文件到 Master 节点
mkdir /root/.kube
cp -i /etc/kubernetes/admin.conf /root/.kube/config

# 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`）
scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config

3. 安装 CNI 网络插件

• Flannel 插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• Calico 插件

kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

CNI 插件参考：

• Flannel Github - README.md
• Calico 官方文档 - Quickstart for Calico on Kubernetes
• 更多可以参考：Kubernetes 官方文档提供的教程 - Installing Addons

4. 检查 Master 的 Pod 及 集群状态

• 使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
• 使用 kubectl get node -o wide，查看 Node 状态为 Ready 表示 Master 初始化完成

---

2. 初始化 Node 节点

初始化 Node 节点就比较简单了，只有两步，即：

1. 执行初始化
2. 检查 Node 的 Pod 及 集群状态

1. 初始化 Node

使用 Master 初始化时的命令进行初始化即可，Node 节点初始化后，就直接加入了集群

kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>

注意：没有记录集群 join 命令的可以通过以下方式重新获取

sudo kubeadm token create --print-join-command --ttl=0

2. 检查 Node 的 Pod 及 集群状态

• 使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
• 使用 kubectl get node -o wide，查看 所有节点 状态均为 Ready 表示 Master 初始化完成

---

五. 重置 Kubernetes 集群

重置 Kubernetes 集群，主要的执行步骤如下：

1. kubeadm 集群重置
2. iptables 规则清理
3. ipvs 规则清理
4. kubernetes 配置文件清理
5. etcd 配置清理
6. cni 网络插件清理

kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

---

参考：
https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/
https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
centos7使用kubeadm安装部署kubernetes 1.14 - Adrian·Ding - 博客园
CentOS7中用kubeadm安装Kubernetes-云栖社区-阿里云