备注：本文内容承接“kubernets集群搭建实操”，对网络部分进行补充描述。

总体描述：在搭建容器集群后，容器之间的通讯必须实现跨网络，这样存在网络路由的问题，解决方案包括OVS、flannel、socketplane，本文采用flannel方案。

架构

涉及到的功能组件包括etcd、flannel和docker。

etcd负责维护共享数据，统一管理各节点的网络标识和子网编码；

flannel实现一块虚拟网卡，负责docker与外网之间的路由；

docker实现一块虚拟网卡，负责和flannel网卡通讯；

etcd

etcdctl set /coreos.com/network/config '{ "Network" : "10.1.0.0/16" }'

通过上述命令，设置集群中，分配给flannel的网络编码。

flannel把自身的子网编码提交到etcd，用于全局保存。通过ls /coreos.com/network/subnets，可以看到如下信息（三个flannel节点提交）：

/coreos.com/network/subnets/10.1.99.0-24

/coreos.com/network/subnets/10.1.9.0-24

/coreos.com/network/subnets/10.1.33.0-24

flannel

Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。

ExecStart=/usr/bin/flanneld-start -etcd-endpoints=${FLANNEL_ETCD} -etcd-prefix=${FLANNEL_ETCD_KEY} $FLANNEL_OPTIONS

上面是flannel服务启动时的执行命令，其中定义了etcd的位置，etcd中保存‘Network’键的路径。执行后，从etcd获取到网络编码‘10.1.0.0/16’，并根据网络编码生成一个子网编码，并把这两个信息保存到/run/flannel/subnet.env中，文件内容如下：

FLANNEL_NETWORK=10.1.0.0/16

FLANNEL_SUBNET=10.1.33.1/24

FLANNEL_MTU=1472

FLANNEL_IPMASQ=false

之后，把子网编码保存到etcd中。

docker

启动docker服务时，指定bip参数：--bip=${FLANNEL_SUBNET}，表示对docker的网络参数进行配置。其中的FLANNEL_SUBNET变量保存在/run/flannel/subnet.env文件中。

其中FLANNEL_SUBNET:‘10.1.33.1’可以当做docker的网关地址。

启动顺序

按照上面的关联关系，组件启动必须按照一定顺序：etcd->flannel->docker

虚拟网卡地址信息

ip a s docker0

ip a s flannel

跨物理机的容器通讯数据流图

参考资料

DockOne技术分享（十八）：一篇文章带你了解Flannel

http://www.jianshu.com/writer#/notebooks/15458030/notes/15965503