K8S 网络详解 1 DOCKER 网络基础

作者: 陈sir的知识图谱 | 来源:发表于2019-07-08 15:21 被阅读0次

DOCKER 网络基础

网络命名空间(linux net namespace)

linux 内核支持(net namespace)以支持网络协议栈的多个实例。不同命名空间内的网络栈是完全隔离的。docker 使用 net namespace 进行网络层面的隔离。

每个网络堆栈中有一个独立的路由表，及独立的iptables 用来设置路由表。

网络命名空间中，包含，进程，套接字，网络设备等元素，所有元素都必须属于一个命名空间。

网络命名空间的实现——将网络协议栈的变量，放入到namespace中，成为namespace的私有变量，然后为协议栈的调用添加namespace参数。

命名空间的结构

image.png

在非默认命名空间创建时，指由lo 回环设备，且默认时停止的，其他设备都需要自己创建，这项工作在docker中有docker daemon来执行。

创建namespace的命令

ip netns add <ns-name>

在命名空间中执行命令

ip netns exec <ns-name> <command>

物理设备只能管理难道root 命名空间中，虚拟设备可以在命名空间中移动。

查看设备是否可以转移

# ethtool -k br0
netns-local: on [fixed]

每个设备都有一个netns-local（NETIF_F_LOCAL)属性，如果为on 表示不能转移

Veth 设备对

veth 设备对用于不同命名空间之间的通信。

image.png

操作实践

添加两个namespace ns1 和 ns2

root@rancherk8sn1:~# ip netns add ns1
root@rancherk8sn1:~# ip netns add ns2
root@rancherk8sn1:~# ip netns
ns2
ns1

创建Veth设备对

root@rancherk8sn1:~# ip link add veth0 type veth peer name veth1
root@rancherk8sn1:~# ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default
    link/ether 02:42:a1:e0:50:32 brd ff:ff:ff:ff:ff:ff
4: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff
5: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff

将Veth1 移动到ns1 命名空间中, 可以看到veth1 已经看不到了

root@rancherk8sn1:~# ip link set veth1 netns ns1
root@rancherk8sn1:~# ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default
    link/ether 02:42:a1:e0:50:32 brd ff:ff:ff:ff:ff:ff
5: veth0@if4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0

在ns1 中查看设备,可以看到veth1

root@rancherk8sn1:~# ip netns exec ns1 ip link show
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4: veth1@if5: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff link-netnsid 0

将 veth0 移动到 ns2

root@rancherk8sn1:~# ip link set veth0 netns ns2
root@rancherk8sn1:~# ip netns exec ns2 ip link show
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
5: veth0@if4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0

在docker中 veth对的设备被改名为eth0

给两个命名空间的的veth 对设备分配IP 地址

root@rancherk8sn1:~# ip netns exec ns2 ip addr add 10.1.1.5/24 dev veth0
root@rancherk8sn1:~# ip netns exec ns1 ip addr add 10.1.1.3/24 dev veth1
root@rancherk8sn1:~# ip netns exec ns1 ip link set dev veth1 up
root@rancherk8sn1:~# ip netns exec ns2 ip link set dev veth0 up

此时两个namespace之间就通了

root@rancherk8sn1:~# ip netns exec ns2 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
5: veth0@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.1.5/24 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::c84c:69ff:fe0c:d176/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# ip netns exec ns1 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4: veth1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.1.1/24 scope global veth1
       valid_lft forever preferred_lft forever
    inet 10.1.1.3/24 scope global secondary veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::2895:acff:fee4:5f56/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# ip netns exec ns1 ping 10.1.1.5
PING 10.1.1.5 (10.1.1.5) 56(84) bytes of data.
64 bytes from 10.1.1.5: icmp_seq=1 ttl=64 time=0.017 ms
64 bytes from 10.1.1.5: icmp_seq=2 ttl=64 time=0.037 ms
64 bytes from 10.1.1.5: icmp_seq=3 ttl=64 time=0.038 ms
64 bytes from 10.1.1.5: icmp_seq=4 ttl=64 time=0.032 ms

Veth 如何查看对端

通过ethtool 查看对端

root@rancherk8sn1:~# ip netns exec ns1 ethtool -S veth1
NIC statistics:
     peer_ifindex: 5 # 查看对端序号

root@rancherk8sn1:~# ip netns exec ns2 ip link show | grep 5
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
5: veth0@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
# veth0@if4 序号为5

网桥(bridge)

网桥是一个2层虚拟设备,把若干个网络接口连接起来,使之能够相互通信。网桥能够学习mac地址，存入自己的mac表中。linux内核支持支持网口桥接，与交换机不同的时候，交互及对于报文，要么转发，要么丢弃，而linux内核本事是一台主机，有可能消化报文，将报文发送到上层协议栈。所以linux网桥可以看做一个2层设备，也可以看做一个3层设备。

linux 网桥的实现

linux通过虚拟网桥设备(net device)来实现的,虚拟网桥可以绑定多个以太网接口设备.

image.png

网桥操作命令

brctl addbr br0 #添加网桥
brctl addif eth4 br0 #为网桥添加网口
ifconfig eth4 0.0.0.0 #网桥的物理卡作为一个网口,工作在链路层,不再需要IP
ifconfig br0 192.168.10.10 #给网桥配置IP

iptables 和netfilter

netfilter 负责在内核中执行各种挂接的规则,运行在内核模式中,iptables 运行在用户模式中,负责维护规则表.

image.png

netfilter的结构

image.png

docker 网络实现

docker 网络模式

host 模式使用--net=host 指定, 使用host模式的容器可以直接使用docker host的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。
container 模式: --net=container:NAME OR ID 指定, 这个模式在创建新的容器的时候指定容器的网络和一个已经存在的容器共享一个Network Namespace，但是并不为docker容器进行任何网络配置，这个docker容器没有网卡、IP、路由等信息，需要手动的去为docker容器添加网卡、配置IP等。
none 模式: 使用 --net=none 指定, 这种网络模式下容器只有lo回环网络，没有其他网卡。none网络可以在容器创建时通过--network=none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。
bridge 模式: 使用--net = bridge 指定, 创建一个容器之后一个新的网络接口被挂载到了docker0上，这个就是容器创建时创建的虚拟网卡。bridge模式为容器创建独立的网络栈，保证容器内的进程使用独立的网络环境，使容器之间，容器和docker host之间实现网络隔离。
user-defined模式: 用户自定义模式主要可选的有三种网络驱动：bridge、overlay、macvlan。bridge驱动用于创建类似于前面提到的bridge网络；overlay和macvlan驱动用于创建跨主机的网络。

BRIDGE 模式的网络模型

docker daemon 启动是会创建docker0 网桥.

image.png

IP 1 的IP 地址默认为172.17.0.1/24 , IP 2 会会在IP1 的网段中选择一个没有使用的地址. ip3 为主机网卡地址

容器中的eth0 与网桥上的ethX 为一对VETH 设备.

我们启动一个busybox 来看下docker 容器内的网络设置, eth0@if17 即为一个veth 设备

root@rancherk8sn1:~# docker run -it busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

再看一下宿主机的网络设备

root@rancherk8sn1:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.14/24 brd 192.168.10.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe71:7d82/64 scope link
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:96:20:83:69 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:96ff:fe20:8369/64 scope link
       valid_lft forever preferred_lft forever
17: vethdc57d12@if16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default
    link/ether 1a:26:a7:36:d4:60 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::1826:a7ff:fe36:d460/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# brctl show
bridge name     bridge id               STP enabled     interfaces
docker0         8000.024296208369       no              vethdc57d12

可以看docker0 为一个bridge 设备, vethdc57d12@if16 为一个veth 对的一端,挂在docker0 上.

启动busybox后看netfilter 内容(无端口映射)

root@rancherk8sn1:~# iptables-save
# Generated by iptables-save v1.6.1 on Mon Jul  8 06:46:13 2019
*nat
:PREROUTING ACCEPT [8:520]
:INPUT ACCEPT [8:520]
:OUTPUT ACCEPT [305:21540]
:POSTROUTING ACCEPT [305:21540]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
COMMIT
# Completed on Mon Jul  8 06:46:13 2019
# Generated by iptables-save v1.6.1 on Mon Jul  8 06:46:13 2019
*filter
:INPUT ACCEPT [65604:236051607]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [59111:2530704]
:DOCKER - [0:0]
:DOCKER-ISOLATION-STAGE-1 - [0:0]
:DOCKER-ISOLATION-STAGE-2 - [0:0]
:DOCKER-USER - [0:0]
-A FORWARD -j DOCKER-USER
-A FORWARD -j DOCKER-ISOLATION-STAGE-1
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A DOCKER-ISOLATION-STAGE-1 -i docker0 ! -o docker0 -j DOCKER-ISOLATION-STAGE-2
-A DOCKER-ISOLATION-STAGE-1 -j RETURN
-A DOCKER-ISOLATION-STAGE-2 -o docker0 -j DROP
-A DOCKER-ISOLATION-STAGE-2 -j RETURN
-A DOCKER-USER -j RETURN
COMMIT

root@rancherk8sn1:~# ip route
default via 192.168.10.2 dev ens33 proto static
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
192.168.10.0/24 dev ens33 proto kernel scope link src 192.168.10.14

可以看到docker daemon 已经向 netfilter 写入了规则.

我们再来看一个有端口映射的例子

docker run -d -p 80:80 nginx

再次查看netfilter 表以及路由

root@rancherk8sn1:~# iptables-save
# Generated by iptables-save v1.6.1 on Mon Jul  8 07:04:16 2019
*nat
:PREROUTING ACCEPT [0:0]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [1:76]
:POSTROUTING ACCEPT [1:76]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A POSTROUTING -s 172.17.0.2/32 -d 172.17.0.2/32 -p tcp -m tcp --dport 80 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
-A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80
COMMIT
# Completed on Mon Jul  8 07:04:16 2019
# Generated by iptables-save v1.6.1 on Mon Jul  8 07:04:16 2019
*filter
:INPUT ACCEPT [288:17512]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [212:20980]
:DOCKER - [0:0]
:DOCKER-ISOLATION-STAGE-1 - [0:0]
:DOCKER-ISOLATION-STAGE-2 - [0:0]
:DOCKER-USER - [0:0]
-A FORWARD -j DOCKER-USER
-A FORWARD -j DOCKER-ISOLATION-STAGE-1
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A DOCKER -d 172.17.0.2/32 ! -i docker0 -o docker0 -p tcp -m tcp --dport 80 -j ACCEPT
-A DOCKER-ISOLATION-STAGE-1 -i docker0 ! -o docker0 -j DOCKER-ISOLATION-STAGE-2
-A DOCKER-ISOLATION-STAGE-1 -j RETURN
-A DOCKER-ISOLATION-STAGE-2 -o docker0 -j DROP
-A DOCKER-ISOLATION-STAGE-2 -j RETURN
-A DOCKER-USER -j RETURN
COMMIT
# Completed on Mon Jul  8 07:04:16 2019
root@rancherk8sn1:~# ip route
default via 192.168.10.2 dev ens33 proto static
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
192.168.10.0/24 dev ens33 proto kernel scope link src 192.168.10.14

可以看到nat规则中添加了 -A POSTROUTING -s 172.17.0.2/32 -d 172.17.0.2/32 -p tcp -m tcp --dport 80 -j MASQUERADE 以及 -A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80 两条规则, 路由没有变化.

如果文章对您有帮助,请点一下下面的 "喜欢"

K8S 网络详解 1 DOCKER 网络基础

DOCKER 网络基础

网络命名空间(linux net namespace)

Veth 设备对

操作实践

Veth 如何查看对端

网桥(bridge)

linux 网桥的实现

网桥操作命令

iptables 和netfilter

netfilter的结构

docker 网络实现

docker 网络模式

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

kubernetes