flannel通信方式

目前比较成熟的flannel网络通信方式有UDP、VXLAN以及host-gw三种方式。

flannel的UDP通信方式

flannel作为一种overlay网络，而overlay的意思就是数据报文装在另一种网络包里，然后进行路由转发和通信。对于UDP通信方式来说，就是报文在进入实际物理网络之前，经过flannel，进行一层UDP封装，将报文作为payload发送给对端；对端收到UDP报文之后，flannel负责解包，得到真正的用户报文后，再转到真正的接收方。

总的来说，flannel跨主机通信的一系列的流程都可以用下面的一张图说明，

我们以发送icmp报文为例：

1、容器A发出ICMP请求报文：10.3.3.2 -> 10.3.83.2，根据容器A内的路由表，报文将发送到网关10.3.3.1，即docker0设备。

[root@container-a /]# route -n

Kernel IP routing table

Destination    Gateway        Genmask        Flags Metric Ref    Use Iface

0.0.0.0        10.3.3.1        0.0.0.0        UG    0      0        0 eth0

10.3.3.0        0.0.0.0        255.255.255.0  U    0      0        0 eth0

2、此时docker0再根据主机A上的路由表，报文将送到flannel0设备(10.3.3.0)。

[root@HOST-A ~]# route -n

Kernel IP routing table

Destination    Gateway        Genmask        Flags Metric Ref    Use Iface

0.0.0.0        192.168.52.2    0.0.0.0        UG    100    0        0 ens33

10.3.0.0        0.0.0.0        255.255.0.0    U    0      0        0 flannel0

10.3.3.0        0.0.0.0        255.255.255.0  U    0      0        0 docker0

192.168.52.0    0.0.0.0        255.255.255.0  U    100    0        0 ens33

3、flannel0是一个tun设备，工作在三层，因此flannel0接收到的是一个RAW IP包(无MAC信息)。随后，flanneld进程将接收报文，然后通过查询etcd数据库，根据目的容器IP，确定目的主机IP，最后进行UDP的封包。加上8个字节的UDP头，再加上20个字节的IP头：192.168.52.129:8285 -> 192.168.52.145:8285，发送给对端目标主机的flanneld进程。正是因为封包的UDP头和IP头，flannel网络设备的MTU为1472(1500-28)，避免因为数据报文超过ens33的MTU而丢包。

flannel0: flags=4305<UP,POINTOPOINT,RUNNING,NOARP,MULTICAST>  mtu 1472

4、flanneld进程将打包好的UDP报文根据主机路由表发往ens33网卡。

5、主机A通过ens33网卡将UDP报文通过网络传输到主机B的ens33网卡。

6、主机B查询报文目的端口为8285(flanneld监听端口)，因此将报文递交给flanneld进程。

[root@HOST-B /]# netstat -anup | grep flanneld

udp        0      0 192.168.52.145:8285    0.0.0.0:*            2778/flanneld

7、flanneld进程将报文解包，得到真正的ICMP请求报文：10.3.3.2 -> 10.3.83.2。

8、flannel0设备根据目标ip 10.3.83.2，匹配主机B的路由表，将解包后的报文递交给docker0。

[root@HOST-B /]# route -n

Kernel IP routing table

Destination    Gateway        Genmask        Flags Metric Ref    Use Iface

0.0.0.0        192.168.52.2    0.0.0.0        UG    0      0        0 ens33

10.3.0.0        0.0.0.0        255.255.0.0    U    0      0        0 flannel0

10.3.83.0      0.0.0.0        255.255.255.0  U    0      0        0 docker0

192.168.52.0    0.0.0.0        255.255.255.0  U    0      0        0 ens33

9、docker0最终将报文提交给容器B，10.3.83.2，处理完ICMP请求报文后，原路径发送ICMP应答报文。

抓包分析

根据上面的分析，我们可以通过tcpdump在各个网络接口上抓包，验证我们的分析。

我们同样以ICMP报文为例，

1、容器A -> veth

我们在主机A的vethb5898d1 抓取icmp报文，

[root@HOST-A ~]# tcpdump -i vethb5898d1 -p icmp -nn

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on vethb5898d1, link-type EN10MB (Ethernet), capture size 262144 bytes

22:34:07.067929 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 32, seq 1, length 64

22:34:07.069460 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 32, seq 1, length 64

可以看到， IP 10.3.3.2 > 10.3.83.2发起了icmp请求报文，然后收到对端的应答。

2、veth -> docker0

我们在主机A的docker0设备上抓取报文，

[root@HOST-A ~]# tcpdump -i docker0 -p icmp -nn

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes

22:37:36.997615 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 33, seq 1, length 64

22:37:37.000023 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 33, seq 1, length 64

和在veth上抓取的报文是一样的，因为docker0只是转发报文，并没有做封装操作。

3、docker0 -> flannel0

在flannel0设备上抓包，

[root@HOST-A ~]# tcpdump -i flannel0 -p icmp -nn

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on flannel0, link-type RAW (Raw IP), capture size 262144 bytes

22:39:30.628099 IP 10.3.3.0 > 10.3.83.2: ICMP echo request, id 34, seq 1, length 64

22:39:30.628666 IP 10.3.83.2 > 10.3.3.0: ICMP echo reply, id 34, seq 1, length 64

走到flannel0也还未封装，真正的封装是在flanneld进程中。但是我们发现这里源IP地址变化了，容器内的IP是10.3.3.2。这是因为系统对源IP进行了伪装，我们可以查看系统的iptables规则，在nat的POSTROUTING链中有以下规则，

*nat

......

-A POSTROUTING -s 10.3.3.0/24 ! -o docker0 -j MASQUERADE

所以从flannel0出来后源IP地址就变成了flannel0的地址。这样就隐藏了后端容器的IP，更为安全。当然也可以删除这条规则，并不会影响网络的通信。

4、flanneld进程 -> ens33

没办法在flannld进程上抓包，因此我们直接在ens33中抓包。此时因为已经经过flanneld进程的UDP封装，因此无法抓取icmp报文，只能抓取UDP报文。

[root@HOST-A ~]# tcpdump -i ens33 -p udp -nn

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes

23:16:44.689161 IP 192.168.52.129.8285 > 192.168.52.145.8285: UDP, length 84

23:16:44.689588 IP 192.168.52.145.8285 > 192.168.52.129.8285: UDP, length 84

可以看到UDP报文发往HOST B的8285端口，也就是flanneld进程。

我们可以将抓取的报文通过wireshark分析，

在报文的数据段，我们可以找到封装的容器内部IP信息，即10.3.3.0 > 10.3.83.2。