一、前言
flannel作为一个container互联解决方案，不仅提供基于封装类型的互联技术，也提供基于路由技术的互联技术，比如host-gw模式。
host-gw模式通过建立主机IP到主机上对应flannel子网的mapping，以直接路由的方式联通flannel的各个子网。这种互联方式没有vxlan等封装方式带来的负担，通过路由机制，实现flannel网络数据包在主机之间的转发。但是这种方式也有不足，那就是所有节点之间都要相互有点对点的路由覆盖，并且所有加入flannel网络的主机需要在同一个LAN里面；所以每个节点上有n-1个路由，而n个节点一共有n(n-1)/2个路由以保证flannel的flat网络能力。
转载自https://blog.csdn.net/cloudvtech
1.节点分布如下：
etcd: 192.168.166.101
node1: 192.168.166.102
node2: 192.168.166.103
node3: 192.168.166.104
2.etcd上面的配置如下：
etcdctl mk /test/network/config "{ \"Network\": \"172.22.0.0/16\", \"SubnetLen\": 24, \"Backend\": { \"Type\": \"host-gw\" } }"
3.节点上启动flannel如下：
/usr/bin/flanneld -etcd-endpoints=http://192.168.166.101:4001 -etcd-prefix=/test/network
并且有如下log：
Picking subnet in range 172.22.1.0 ... 172.22.255.0
Lease acquired: 172.22.84.0/24
Watching for new subnet leases
Subnet added: 172.22.13.0/24 via 192.168.166.103
Subnet added: 172.22.2.0/24 via 192.168.166.104
每当有新的节点加入，该节点就会向etcd注册，所有监听etcd的flanneld service就会在节点本地进行必要的更新来把新的子网和节点加入。
docker0 birdge上面则被配置了节点子网的网关IP：
3: docker0:mtu 1500 qdisc noqueue state DOWN
link/ether 02:42:d9:a0:e5:54 brd ff:ff:ff:ff:ff:ff
inet 172.22.84.1/24 scope global docker0
valid_lft forever preferred_lft forever
inet6 fe80::42:d9ff:fea0:e554/64 scope link
valid_lft forever preferred_lft forever
4.启动container
docker run -it busybox sh
container里面的网络配置如下：
/ # ip a
1: lo:mtu 65536 qdisc noqueue qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
6: eth0@if7:mtu 1500 qdisc noqueue
link/ether 02:42:ac:16:54:02 brd ff:ff:ff:ff:ff:ff
inet 172.22.84.2/24 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe16:5402/64 scope link tentative
valid_lft forever preferred_lft forever
转载自https://blog.csdn.net/cloudvtech
在三个节点加入到flannel网络之后，etcd上会有如下信息：
etcdctl ls /test/network --recursive
/test/network/config
/test/network/subnets
/test/network/subnets/172.22.2.0-24
/test/network/subnets/172.22.84.0-24
/test/network/subnets/172.22.13.0-24
而每个节点上，则不像vxlan一样会有一个flannel.1的bridge，取而代之的是新建的一些列路由，如下是node1上面的路由：
ip route
default via 192.168.166.2 dev ens33 proto static metric 100
172.22.2.0/24 via 192.168.166.104 dev ens33
172.22.13.0/24 via 192.168.166.103 dev ens33
172.22.84.0/24 dev docker0 proto kernel scope link src 172.22.84.1
192.168.166.0/24 dev ens33 proto kernel scope link src 192.168.166.102 metric 100
到172.22.2.0/24和172.22.13.0/24两个子网的路由被分别直接导向node3和node2，在node2和node3上也有类似到其它节点的路由。
现在所有进出container的数据包都要经由docker0 bridge和以上直接路由的引导。
这片文章对于flannel的不同模式的性能进行了检测，可以进行参考：
《Comparison of Networking Solutions for Kubernetes》
网友评论