Calico 网络

Calico 是一个纯三层的虚拟网络方案，Calico 为每个容器分配一个 IP，每个 host 都是 router，把不同 host 的容器连接起来。与 VxLAN 不同的是，Calico 不对数据包做额外封装，不需要 NAT 和端口映射，扩展性和性能都很好。

与其他容器网络方案相比，Calico 还有一大优势：network policy。用户可以动态定义 ACL 规则，控制进出容器的数据包，实现业务需求。

Calico 依赖 etcd 在不同主机间共享和交换信息，存储 Calico 网络状态。我们将在 host 192.168.56.101 上运行 etcd。

Calico 网络中的每个主机都需要运行 Calico 组件，提供容器 interface 管理、动态路由、动态 ACL、报告状态等功能。
实验环境如下图所示：

在 host 192.168.56.101 上运行如下命令启动 etcd：
etcd -listen-client-urls http://192.168.56.101:2379 -advertise-client-urls http://192.168.56.101:2379

修改 host1 和 host2 的 Docker daemon 配置文件 /etc/systemd/system/docker.service， 连接 etcd：
--cluster-store=etcd://192.168.56.101:2379

重启 Docker daemon。
systemctl daemon-reload
systemctl restart docker.service

部署 calico

下载 calicoctl：
wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.0.2/calicoctl
chmod +x calicoctl

在 host1 和 host2 上启动 calico：
calicoctl node run
启动过程如下：

① 设置主机网络，例如 enable IP forwarding。
② 下载并启动 calico-node 容器，calico 会以容器的形式运行（与 weave 类似）。

③ 连接 etcd。
④ calico 启动成功。

创建 calico 网络

在 host1 或 host2 上执行如下命令创建 calico 网络 cal_ent1：
docker network create --driver calico --ipam-driver calico-ipam cal_net1

--driver calico 指定使用 calico 的 libnetwork CNM driver。
--ipam-driver calico-ipam 指定使用 calico 的IPAM driver 管理 IP。
calico 为 global 网络，etcd 会将 cal_net 同步到所有主机。

Calico 的网络结构

在 host1 中运行容器 bbox1 并连接到 cal_net1：
docker container run --net cal_net1 --name bbox1 -tid busybox

查看 bbox1 的网络配置。

cali0 是 calico interface，分配的 IP 为 192.168.119.2。cali0 对应 host1 编号 11 的 interface cali5f744ac07f0。

host1 将作为 router 负责转发目的地址为 bbox1 的数据包。

所有发送到 bbox1 的数据都会发给cali5f744ac07f0，因为 cali5f744ac07f0 与cali0 是一对veth pair，bbox1 能够接收到数据。
host1 网络结构如图所示：

接下来我们在 host2 中运行容器 bbox2，也连接到 cal_net1：
docker container run --net cal_net1 --name bbox2 -tid busybox
IP 为 192.168.183.65。

host2 添加了两条路由：

1. 目的地址为 host1 容器 subnet 192.168.119.0/26 的路由。
2. 目的地址为本地 bbox2 容器 192.168.183.65 的路由。

同样的，host1 也自动添加了到 192.168.183.64/26 的路由。

Calico 的连通性

测试一下 bbox1 与 bbox2 的连通性：

ping 成功，数据包流向如下图所示。

① 根据 bbox1 的路由表，将数据包从 cal0 发出。

② 数据经过 veth pair到达 host1，查看路由表，数据由 enp0s8 发给 host2（192.168.56.105）。
192.168.183.64/26 via 192.168.56.105 dev enp0s8 proto bird
③ host2 收到数据包，根据路由表发送给 calic8bf9e68397，进而通过veth pair cali0 到达 bbox2。
192.168.183.65 dev calic8bf9e68397 scope link

接下来我们看看不同 calico 网络之间的连通性。
创建 cal_net2。
docker network create --driver calico --ipam-driver calico-ipam cal_net2
在 host1 中运行容器 bbox3，连接到cal_net2：
docker container run --net cal_net2 --name bbox3 -tid busybox
calico 为 bbox3 分配了 IP 192.168.119.5。

验证 bbox1 与 bbox3 的连通性。

虽然 bbox1 和 bbox3 都位于 host1，而且都在一个 subnet 192.168.119.0/26，但它们属于不同的 calico 网络，默认不能通行。
calico 默认的 policy 规则是：
容器只能与同一个 calico 网络中的容器通信。
calico 的每个网络都有一个同名的 profile，profile 中定义了该网络的 policy。我们具体看一下 cal_net1 的 profile：
calicoctl get profile cal_net1 -o yaml

① 命名为cal_net1，这就是 calico 网络 cal_net1 的 profile。
② 为 profile 添加一个 tag cal_net1。注意，这个 tag 虽然也叫 cal_net1，其实可以随便设置，这跟上面的name: cal_net1 没有任何关系。此 tag 后面会用到。
③egress 对从容器发出的数据包进行控制，当前没有任何限制。
④ingress 对进入容器的数据包进行限制，当前设置是接收来自 tag cal_net1 的容器，根据第 ① 步设置我们知道，实际上就是只接收本网络的数据包，这也进一步解释了前面的实验结果。

定制 Calico Policy

Calico 能够让用户定义灵活的 policy 规则，精细化控制进出容器的流量，下面我们就来实践一个场景：

1. 创建一个新的 calico 网络 cal_web 并部署一个 httpd 容器 web1。
2. 定义 policy 允许 cal_net2 中的容器访问 web1 的 80 端口。
   首先创建 cal_web。
   docker network create --driver calico --ipam-driver calico-ipam cal_web
   在 host1 中运行容器 web1，连接到 cal_web：
   docker container run --net cal_web --name web1 -d httpd
   web1 的 IP 为 192.168.119.7。
   
   目前 bbox3 还无法访问 web1 的 80 端口。
   
   创建 policy 文件 web.yml，内容为：
   
   ① profile 与cal_web 网络同名，cal_web 的所有容器（web1）都会应用此 profile 中的 policy。
   ② ingress 允许cal_net2 中的容器（bbox3）访问。
   ③ 只开放 80端口。
   应用该 policy。
   calicoctl apply -f web.yml
   现在 bbox3 已经能够访问 web1 的 http 服务了。
   
   不过 ping 还是不行，因为只放开了 80 端口。
   
   有关 calico policy 更多的配置，可参看官网文档。

Calico 的 IP 池

calico 会为自动为网络分配 subnet，当然我们也可以定制。
首先定义一个 IP Pool，比如：

cat << EOF | calicoctl create -f -
- apiVersion: v1
 kind: ipPool
 metadata:
   cidr: 17.2.0.0/16
EOF

用此 IP Pool 创建 calico 网络。
docker network create --driver calico --ipam-driver calico-ipam --subnet=17.2.0.0/16 my_net

此时运行容器将分配到指定 subnet 中的 IP。

当然也可以通过--ip为容器指定 IP，但必须在 subnet 范围之内。