kube-eip出现背景

kubevirt中虚机是跑在virt-launcher的pod中的qemu进程。默认通过pod ip访问虚机，所以当虚机发生重启，迁移后pod ip将会发生变化。
但是对于虚机而言，使用固定ip，并且ip可以被云外网络访问是很普遍的需求。而kubevirt虚机使用pod ip访问，首先pod ip属于k8s内部网络无法被云外访问，并且当pod发生重启后pod ip将会变化，所以现有网络无法满足需求。并且对于某些嵌入式系统，无法支持多网卡。

kubevirt默认网络

virt-launcher的pod中虚机的tap设备接在linux bridge上，通过nat将pod veth设备的ip和虚机tap设备的ip做转换，以此通过访问pod ip来访问虚机。

kube-eip实现的eip方案

architecture.png

在vmi所在宿主机上通过在iptables的nat表新增KUBE-EIP-PREROUTING和KUBE-EIP-POSTRONGTING链来对进出虚机的流量做劫持。对于云外访问的流量，根据iptables规则做nat转换，从而实现通过eip来访问虚机。
新增k8s_internal_net的ipset集合用于区分云内外的流量。并新增kube-eip-eip，kube-eip-vmi两个ipset集合来匹配已经做了eip绑定的流量。并配合策略路由实现虚机访问云外流量通过eip走public network出去。
如果public network对接了交换机，可以通过bgp来同步eip路由给外部。

kube-eip的实现

kube-eip提供以下三个组件

eipbinding-operator： k8s的operator用于监听eipbinding和kubevirt vmi的crd资源变化来通知agent更新eip规则
eip-agent：以daemonset的形式运行与每个k8s节点，接收operator的grpc请求来下发或者清理eip转换规则
eipctl：命令行工具用于绑定或者解绑eip

kube-eip部署及使用

# 克隆kube-eip项目
git clone https://github.com/lucheng0127/kube-eip.git

# 部署operator和agent
IMG=quay.io/shawnlu0127/eipbinding_operator:20231130 make deploy
make deploy-agent

# 清理
make undeploy
make undeploy-agent

目前稳定版operator和agent镜像

quay.io/shawnlu0127/eipbinding_operator:20231130
quay.io/shawnlu0127/eip_agent:20231204

绑定eip给kubevirt虚机

apiVersion: extension.lucheng0127/v1
kind: EipBinding
metadata:
  labels:
    app.kubernetes.io/name: eipbinding
    app.kubernetes.io/instance: cirros
    app.kubernetes.io/part-of: kube-eip
    app.kubernetes.io/managed-by: kustomize
    app.kubernetes.io/created-by: kube-eip
  name: cirros
spec:
  eipAddr: 192.168.18.15
  vmiName: cirros

定义eipbinding的crd的yaml， vmiName为kubevirt vmi的名字，eipAddr为eip的ip地址，后创建eipbinding的crd即可。解绑删除eipbinding的crd即可。

root@shawn-server:~# kubectl get eipbinding cirros -o yaml
apiVersion: extension.lucheng0127/v1
kind: EipBinding
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"extension.lucheng0127/v1","kind":"EipBinding","metadata":{"annotations":{},"labels":{"app.kubernetes.io/created-by":"kube-eip","app.kubernetes.io/instance":"cirros","app.kubernetes.io/managed-by":"kustomize","app.kubernetes.io/name":"eipbinding","app.kubernetes.io/part-of":"kube-eip"},"name":"cirros","namespace":"default"},"spec":{"eipAddr":"192.168.18.15","vmiName":"cirros"}}
  creationTimestamp: "2023-12-04T07:24:21Z"
  finalizers:
  - extension.lucheng0127/finlizer
  generation: 4
  labels:
    app.kubernetes.io/created-by: kube-eip
    app.kubernetes.io/instance: cirros
    app.kubernetes.io/managed-by: kustomize
    app.kubernetes.io/name: eipbinding
    app.kubernetes.io/part-of: kube-eip
  name: cirros
  namespace: default
  resourceVersion: "10121351"
  uid: 3e980554-7fd1-4d94-9b57-d2179211c372
spec:
  currentHyper: 172.17.15.125
  currentIPAddr: 10.244.3.88
  eipAddr: 192.168.18.15
  lastHyper: 172.17.15.133
  lastIPAddr: 10.244.0.91
  phase: Ready
  vmiName: cirros

kube-eip github项目链接