一、kubernetes（以下简称k8s）和相关服务介绍

1.etcd：

• key-value键值存储数据库，用来存储kubernetes的信息。

2.flannel：

• Flannel 是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，需要另外下载部署。我们知道当我们启动 Docker 后会有一个用于和容器进行交互的 IP 地址，如果不去管理的话可能这个 IP 地址在各个机器上是一样的，并且仅限于在本机上进行通信，无法访问到其他机器上的 Docker 容器。Flannel 的目的就是为集群中的所有节点重新规划 IP 地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的 IP 地址，并让属于不同节点上的容器能够直接通过内网 IP 通信。

3.k8s master 组件：

• Kubernetes 集群中主要存在两种类型的节点，分别是 master 节点，以及 minion 节点。Minion 节点是实际运行 Docker 容器的节点，负责和节点上运行的 Docker 进行交互，并且提供了代理功能。
• Master 节点负责对外提供一系列管理集群的 API 接口，并且通过和 Minion 节点交互来实现对集群的操作管理。整体架构图如下：

(1) kubectl

• 客户端命令行工具，将接受的命令格式化后发送给kube-apiserver，作为整个系统的操作入口。

(2) kube-apiserver

• 作为整个系统的控制入口，以REST API服务提供接口。用户和 kubernetes 集群交互的入口，封装了核心对象的增删改查操作，提供了 RESTFul 风格的 API 接口，通过 etcd 来实现持久化并维护对象的一致性。

(3) kube-controller-manager

• 用来执行整个系统中的后台任务，包括节点状态状况、Pod个数、Pods和Service的关联等。主要是用于保证 replicationController 定义的复制数量和实际运行的 pod 数量一致，另外还保证了从 service 到 pod 的映射关系总是最新的。

(4)kube-scheduler

• 负责节点资源管理，接受来自kube-apiserver创建Pods任务，并分配到某个节点。负责集群资源的调度和管理，例如当有 pod 异常退出需要重新分配机器时，scheduler 通过一定的调度算法从而找到最合适的节点。

4.k8s minion组件 ：

(1) kube-proxy

运行在每个计算节点上，负责Pod网络代理。定时从etcd获取到service信息来做相应的策略。运行在 minion 节点，负责为 pod 提供代理功能，会定期从 etcd 获取 service 信息，并根据 service 信息通过修改 iptables 来实现流量转发（最初的版本是直接通过程序提供转发功能，效率较低。），将流量转发到要访问的 pod 所在的节点上去。

(2) kubelet

运行在每个计算节点上，作为agent负责和节点上的 Docker 交互，例如启停容器，监控运行状态等。接受分配该节点的Pods任务及管理容器，周期性获取容器状态，反馈给kube-apiserver。

二、kubernetes 部署

1.安装前工作：

(1)清理其它docker版本和依赖软件：

yum -y remove docker
yum -y remove docker-selinux
yum remove docker-common-1.10.3-46.el7.centos.14.x86_64 -y
yum remove docker-common -y

2.安装k8s master

yum install etcd
yum install kubernetes-master docker

• 安装kubernetes-node 会自动依赖安装docker，所以可以在kubernetes-master上先安装kubernetes-node，借此安装docker然后在卸载kubernetes-node。

• etcd配置：

# vim /etc/etcd/etcd.conf  将以下几行进行修改，完成后保存退出。
ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://10.13.32.223:2379"

ETCD参数说明
重要的参数用途：

—data-dir 指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定—wal-dir，还会存储WAL文件；
—wal-dir 指定节点的was文件的存储目录，若指定了该参数，wal文件会和其他数据文件分开存储。
—name 节点名称
—initial-advertise-peer-urls 告知集群其他节点url.
— listen-peer-urls 监听URL，用于与其他节点通讯
— advertise-client-urls 告知客户端url, 也就是服务的url
— initial-cluster-token 集群的ID
— initial-cluster 集群中所有节点

k8s 配置1：

#vim /etc/kubernetes/apiserver
KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.17.101:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.73.18.0/24"

k8s 配置2：

#vim /etc/kubernetes/controller-manager
KUBE_CONTROLLER_MANAGER_ARGS="--node-monitor-grace-period=10s --pod-eviction-timeout=10s"

k8s 配置3：

#vim /etc/kubernetes/config
 KUBE_MASTER="--master=http://192.168.17.101:8080"

启动顺序：

systemctl enable etcd
systemctl enable kube-apiserver kube-scheduler kube-controller-manager
systemctl start etcd
systemctl start kube-apiserverkube-schedulerkube-controller-manager

最后还要执行命令：

etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'

这个不设置会导致后面flanneld起不来，进而导致docker启动不了

3.安装k8s minion：

yum install flannel
yum install kubernetes-node

docker会自动安装
安装kubernetes-node 会自动依赖安装docker）
安装flannel：(k8s master 可以用不用安装)
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

• flannel配置2：

#vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://10.13.32.223:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"

• k8s minion配置1：
  kubernetes node配置文件进行修改：

#vim /etc/kubernetes/config
KUBE_MASTER="--master=http://10.13.32.223:8080"

• k8s minion配置2：

#vim /etc/kubernetes/kubelet`
KUBELET_HOSTNAME="--hostname_override=10.73.18.81"
KUBELET_API_SERVER="--api_servers=http://10.13.32.223:8080"

启动顺序：（非常关键）

• 先启动docker：

systemctl enable docker
systemctl start docker

• 再启动flannel：

systemctl enable flanneld.service
systemctl restart flanneld.service

• 重启docker：

systemctl restart docker

• 启动kubelete 和kube-proxy服务：

systemctl enable kubelet kube-proxy
systemctl start kubelet kube-proxy

三、注意事项

1.etcd 需要初始化网段信息

安装完etcd服务后，还要执行命令：

etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'

• 因为flannel 会依赖etcd的容器网段信息，这个不设置会导致后面flanneld起不来，进而导致docker启动不了。

2.etcd 集群模式启动配置

/usr/lib/systemd/system/etcd.service文件中通过systemd启动：

• docker 和k8s minion（安装命令为yum install kubernetes-node） 会有依赖关系，安装最好通过yum 命令来安装让其自动解决。
• 或者通过二进制文件进行安装，即从git-hub上下载编译好的k8s，把k8s组件的各个二进制文件拷贝到对应的master和minion上，即可使用。