前提介绍
在工作中配合压测同事对业务压测发现一些问题，使用NodePort做业务暴漏，压测的TPS周期性波动，看了网上的一些优化参数但是感觉没有太多改善（这里没有说参数没有作用，只是系统，内核版本，业务类型，都会影响到调优问题，所以没有过多放在这里测试）。这里主要看关于不同cni，在使用iptabls和ipvs是否都会有这个TPS抖动问题，本测试并不能代表严谨的测试结果，仅仅作为个人工作和学习中的记录，希望可以帮助到大家，和您的意见发生冲突时，您是对的。
测试仅仅个人环境搭建，没有说谁家的cni性能更好，所以这里没有看重性能，这里仅仅在探索一种技术特性所带来的现象。
基础环境及相关描述
- 3台主机(1master ,2 node)
- 配置相同
- kubeadm版本安装相同的k8s版本(本测试均为v1.22.0)
- 截图名称按照流量路径标注
- k8s主机均为设置调优参数
测试环境及结果
-
centos7.6 3.10内核 calico iptabs
node2_node1_pod.png
node1_pod.png
-
centos7.6 3.10内核 calico ipvs
node1-node2-pod.png
node2-pod.png
-
centos7.6 5.13内核 calico iptabs
node-2_node-1_pod.png
node-1_pod.png
-
centos7.6 5.13内核 calico ipvs
node-1_node-2_pod.png
node-1_pod.png
-
centos7.6 5.13内核 fannel iptabs
node-1_node-2_pod.png
node-2_pod.png
-
centos7.6 5.13内核 fannel ipvs
node-1_node-2_pod.png
node-2_pod.png
-
centos7.6 5.13 cilium ipvs
node-1_node-2_pod.png
node-2_pod.png
node-2_node-1_pod.png
node-1_pod.png
总结
首先还是表明立场，仅仅个人学习使用和您的预期不一样，不用怀疑您是对的。
我最开始的想法就是ipvs肯定是好过iptables，但是观察发现，这种波动问题似乎他俩差不多。不管是calico，fannel，使用iptabs还是ipvs这种流量从其他主机到pod主机，都可以看到TPS的波动问题，而cilium这种epbf的网络，特别有意思，从其他主机nodeport到pod主机，TPS就很平稳，流量直接到pod主机的nodeport，TPS就抖动。我测试了多轮。但是这种ebpf个人感觉肯定是以后的王者，但是架构设计上，如果使用nodeport来，应该预留2个节点用于入口流量，不跑业务pod会比较理想。
两个外部文章
记一次Docker/Kubernetes上无法解释的连接超时原因探寻之旅 容器魔方
性能提升40%: 腾讯 TKE 用 eBPF绕过 conntrack 优化K8s Service 腾讯云原生
补充
后面的关于其他测试截图，比如vm信息，比如cluster的信息，比如如何查看kube-porxy是否开启了ipvs等等，我后面补充。
- 补充ipvs模块
# cat /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
if [ 130 -eq 0 ]; then
/sbin/modprobe ${kernel_module}
fi
done
lsmod_ipvs.png
- 补充kube-porxy开启ipvs
kubectl edit cm -n kube-system kube-proxy
mode: 'ipvs'
kubectl logs -f kube-proxy-sfgd8 -n kube-system
cm_kube-proxy_ipvs.png
kube-proxy_log.png
- 补充测试用到的命令
kubectl create deployment --image=nginx
kubectl expose deployment nginx-web --port=80 --target-port=80 --type=NodePort
kubectl get pod -o wide
kubectl get svc
网友评论