概述
flannel是CoreOS提供用于解决Dokcer集群跨主机通讯的覆盖网络工具。它的主要思路是:预先留出一个网段,每个主机使用其中一部分,然后每个容器被分配不同的ip;让所有的容器认为大家在同一个直连的网络,底层通过UDP/VxLAN等进行报文的封装和转发。
架构图
跨主机容器通信
这里涉及到一个知识点,就是底层通过UDP/VxLAN设备进行报文的封装和转发,以下来叙述一下这个过程,当报文从Pod1:10.1.15.2/24要去往Pod4: 10.1.20.2/24这个容器的时候,要分别经过以下步骤。
- 因为Pod1的veth0和docker0的一段网卡相连,所以数据包会先发往docker0网桥,此时docker0会查询自己所维护的路由表,没有发现有10.1.20.2/24这个地址,所以会把数据包发送给默认路由,这里的默认路由即flannel网桥。
-
flannel网桥是一个VxLAN设备,它收到数据包后,检查到包中的目的地址并不是自己的地址,所以他本应该这把这个数据包重新发送出去,因为他的下一层已经是数据链路层,所以即将进行二层封包,即通过ARP协议来对以太网进行广播谁是10.1.20.2/24,并接受并记录目的的MAC地址。但是由于它是一个VxLAN设备,其特殊性就是并没有真正在二层发出这个 arp 包,而是由 linux kernel 引发一个”L3 MISS”事件并将 arp 请求发到用户空间的 Flannel 程序中。
-
flannel程序接收到”L3 MISS”事件以及 arp 请求 (who is10.1.20.2/24 ) 后,并不会像以太网发送ARP请求,而是在etcd中匹配10.1.20.2/24的信息,从而找到Node2的MAC地址。Flannel 将查询到的信息放入 Node1 host 的 arp cache 表中,flannel0 完成这项工作后,Linux kernel 就可以在 arp table 中找到 10.1.20.2/24对应的 MAC 地址并封装二层以太包了。
-
Node 上 2 的 eth0 接收到上述 VXLAN 包,内核也识别出这是一个 VXLAN 包,于是通过相反的步骤解包出来,最后传达到POD4上去。
网友评论