本文是Docker网络系列的第三篇，之前两篇文章为：
Docker前传之linux iptables
单host下Docker的默认网络配置

Docker提倡简单，这也是它较之LXC而大火的一个因素。比如Docker避开了比较难以上手的网络部分，但在被大众接受之后，随之而来的就是Docker的跨主机网络通信问题。

如果不借助第三方解决方案，根据之前介绍过的单host下的网络配置，要实现跨主机互相通信，得通过主机端口映射的方式。这种做法的弊端就是需要做好端口的分配，不管是静态还是动态分配，对于大规模集群而言，都不好管理。

目前市面上常见的第三方解决方案包括Open vSwitch，Weave等，后来Docker官方也推出了Swarm解决方案。而这里要介绍的Kubernetes，利用了Flannel解决了跨主机通信问题。

先说说Kubernetes。
来自于google，是一个开源的基于容器技术的分布式架构方案。有一大堆的优点，看看下面这一段：

如果我们的系统遵循了Kubernetes的设计思想，那么传统系统架构中那些和业务无关的底层代码或者功能模块，都可以舍弃，我们不必再想负载均衡的选型，不再考虑怎么使用一个服务治理框架（如dubbo），不必再想如何处理服务监控和故障问题。

总之，既然我们知道了Kubernetes很强大，其功能也绝不仅限于Docker集群管理，那么就开始吧。为了先让我们对Kubernetes有个感性认识，此处先略过一堆的概念，直接搭建一个Kubernetes环境。

先上拓扑图：

QQ20160907-0@2x.png

总共3台虚机，1台作为master（主控节点），2台作为minion（工作节点）。全部为centos7，内核为3.10。
master：192.168.0.200
minion：192.168.0.201，192.168.0.202

准备工作

在三台虚机上执行以下相同的初始操作。

• 执行以下命令停止防火墙
  systemctl stop firewalld
systemctl disable firewalld

centos7默认开启了firewalld，执行命令iptables -L -n可以看到如下：

1.PNG

关停防火墙后，执行iptables命令就变得清爽多了，

2.PNG

• 安装ntp以同步时间
  yum -y install ntp
systemctl start ntpd
systemctl enable ntpd

部署master节点

• 安装etcd和Kubernetes
  yum -y install etcd kubernetes

• etcd配置
  执行cat /etc/etcd/etcd.conf，查看配置文件，确保以下行启用并且具有相同的值：

ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379"

• Kubernetes API Server配置
  执行命令vi /etc/kubernetes/apiserver，修改配置文件如下：

KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_API_PORT="--port=8080"
KUBELET_PORT="--kubelet-port=10250"
KUBE_ETCD_SERVERS="--etcd-servers=http://127.0.0.1:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
KUBE_API_ARGS=""

• 开启etcd，kube-apiserver，kube-controller-manager，kube-scheduler
  执行以下命令，
  for SERVICES in etcd kube-apiserver kube-controller-manager kube-scheduler; do systemctl restart $SERVICES systemctl enable $SERVICES systemctl status $SERVICES done

• 在etcd中配置flannel网络
  执行以下命令，
  etcdctl mk /atomic.io/network/config '{"Network":"172.17.0.0/16"}'

部署minion节点

需要在两台minion节点上分别执行以下操作。

• 安装flannel和Kubernetes
  yum -y install flannel kubernetes

• flannel配置
  执行vi /etc/sysconfig/flanneld，修改配置文件如下，以连接至master节点上的etcd：

FLANNEL_ETCD="http://192.168.0.200:2379"

• Kubernetes配置
  执行vi /etc/kubernetes/config，修改配置文件如下，以连接至Kubernetes API Server：

KUBE_MASTER="--master=http://192.168.0.200:8080"

• kubelet配置
  执行vi /etc/kubernetes/kubelet，按如下配置kubelet：

KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_PORT="--port=10250"
KUBELET_HOSTNAME="--hostname-override=192.168.0.201"
KUBELET_API_SERVER="--api-servers=http://192.168.0.200:8080"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
KUBELET_ARGS=""

注意：--hostname-override这项需要配置每个节点自己的ip

• 开启kube-proxy，kubelet，docker，flanneld
  执行以下命令：
  for SERVICES in kube-proxy kubelet docker flanneld; do systemctl restart $SERVICES systemctl enable $SERVICES systemctl status $SERVICES done

查看环境

至此环境搭建完毕，可以看出这一系列操作并不复杂。

在192.168.0.201上执行ifconfig，结果如下：

3.PNG
可以看到除了docker0还多了个flannel0，而且跟docker0都同在172.17.89.0网段。

在192.168.0.202上执行ifconfig，结果如下：

4.PNG
flannel0和docker0的网段为172.17.24.0。

在192.168.0.200上执行命令kubectl get nodes，可以看到master节点检测到两台minion节点的存在。

NAME STATUS AGE
192.168.0.201 Ready 58m
192.168.0.202 Ready 34s

当关掉一台minion节点时，master节点也会实时感知。

至此Kubernetes环境已经部署完毕，minion节点可以增加到3台或者更多。

最后有一点说明：
minion节点上需要安装并启用docker，上面部署minion节点时，在开启各项服务的那一步中会自行安装并启用docker。这里需要注意的一点，如果minion节点在安装Kubernetes之前已经安装并启用docker，那么会导致flannel0与docker0不在一个网段，执行docker engine重启命令systemctl restart docker可以修复该问题。