flannel host-gw模式工作原理浅析

一、前言

flannel作为一个container互联解决方案，不仅提供基于封装类型的互联技术，也提供基于路由技术的互联技术，比如host-gw模式。

host-gw模式通过建立主机IP到主机上对应flannel子网的mapping，以直接路由的方式联通flannel的各个子网。这种互联方式没有vxlan等封装方式带来的负担，通过路由机制，实现flannel网络数据包在主机之间的转发。但是这种方式也有不足，那就是所有节点之间都要相互有点对点的路由覆盖，并且所有加入flannel网络的主机需要在同一个LAN里面；所以每个节点上有n-1个路由，而n个节点一共有n(n-1)/2个路由以保证flannel的flat网络能力。

转载自https://blog.csdn.net/cloudvtech

二、配置flannel

1.节点分布如下：

etcd: 192.168.166.101

node1: 192.168.166.102

node2: 192.168.166.103

node3: 192.168.166.104

2.etcd上面的配置如下：

etcdctl mk /test/network/config "{ \"Network\": \"172.22.0.0/16\", \"SubnetLen\": 24, \"Backend\": { \"Type\": \"host-gw\" } }"

3.节点上启动flannel如下：

/usr/bin/flanneld -etcd-endpoints=http://192.168.166.101:4001 -etcd-prefix=/test/network

并且有如下log：

Picking subnet in range 172.22.1.0 ... 172.22.255.0

Lease acquired: 172.22.84.0/24

Watching for new subnet leases

Subnet added: 172.22.13.0/24 via 192.168.166.103

Subnet added: 172.22.2.0/24 via 192.168.166.104

每当有新的节点加入，该节点就会向etcd注册，所有监听etcd的flanneld service就会在节点本地进行必要的更新来把新的子网和节点加入。

docker0 birdge上面则被配置了节点子网的网关IP：

3: docker0:mtu 1500 qdisc noqueue state DOWN

    link/ether 02:42:d9:a0:e5:54 brd ff:ff:ff:ff:ff:ff

    inet 172.22.84.1/24 scope global docker0

      valid_lft forever preferred_lft forever

    inet6 fe80::42:d9ff:fea0:e554/64 scope link

      valid_lft forever preferred_lft forever

4.启动container

docker run -it busybox sh

container里面的网络配置如下：

/ # ip a

1: lo:mtu 65536 qdisc noqueue qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

      valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

      valid_lft forever preferred_lft forever

6: eth0@if7:mtu 1500 qdisc noqueue

    link/ether 02:42:ac:16:54:02 brd ff:ff:ff:ff:ff:ff

    inet 172.22.84.2/24 scope global eth0

      valid_lft forever preferred_lft forever

    inet6 fe80::42:acff:fe16:5402/64 scope link tentative

      valid_lft forever preferred_lft forever

转载自https://blog.csdn.net/cloudvtech

三、网络分析

在三个节点加入到flannel网络之后，etcd上会有如下信息：

etcdctl ls /test/network --recursive

/test/network/config

/test/network/subnets

/test/network/subnets/172.22.2.0-24

/test/network/subnets/172.22.84.0-24

/test/network/subnets/172.22.13.0-24

而每个节点上，则不像vxlan一样会有一个flannel.1的bridge，取而代之的是新建的一些列路由，如下是node1上面的路由：

ip route

default via 192.168.166.2 dev ens33 proto static metric 100

172.22.2.0/24 via 192.168.166.104 dev ens33

172.22.13.0/24 via 192.168.166.103 dev ens33

172.22.84.0/24 dev docker0 proto kernel scope link src 172.22.84.1

192.168.166.0/24 dev ens33 proto kernel scope link src 192.168.166.102 metric 100

到172.22.2.0/24和172.22.13.0/24两个子网的路由被分别直接导向node3和node2，在node2和node3上也有类似到其它节点的路由。

现在所有进出container的数据包都要经由docker0 bridge和以上直接路由的引导。

四、扩展阅读

这片文章对于flannel的不同模式的性能进行了检测，可以进行参考：

《Comparison of Networking Solutions for Kubernetes》