美文网首页
Cilium系列-10-启用 IPv6 BIG TCP和启用巨帧

Cilium系列-10-启用 IPv6 BIG TCP和启用巨帧

作者: 东风微鸣 | 来源:发表于2023-08-01 13:48 被阅读0次

系列文章

前言

将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:

  • 启用本地路由(Native Routing)
  • 完全替换 KubeProxy
  • IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
  • Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
  • 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
  • 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
  • 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)
  • 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
  • (高级用户可选)调整 eBPF Map Size
  • Linux Kernel 优化和升级
    • CONFIG_PREEMPT_NONE=y
  • 其他:
    • tuned network-* profiles, 如: tuned-adm profile network-latencynetwork-throughput
    • CPU 调为性能模式
    • 停止 irqbalance,将网卡中断引脚指向特定 CPU

在网络/网卡设备/OS等条件满足的情况下, 我们尽可能多地启用这些调优选项, 相关优化项会在后续文章逐一更新. 敬请期待.

今天我们来调优 Cilium, 启用 IPv6 BIG TCP 允许网络协议栈准备更大的 GSO(发送)和 GRO(接收)数据包,以减少协议栈的遍历次数,从而提高性能和延迟.

测试环境

  • Cilium 1.13.4
  • K3s v1.26.6+k3s1
  • OS
    • 3 台 Ubuntu 23.04 VM, Kernel 6.2, x86

IPv6 BIG TCP

IPv6 BIG TCP 允许网络协议栈准备更大的 GSO(发送)和 GRO(接收)数据包,以减少协议栈的遍历次数,从而提高性能和延迟。它可减少 CPU 负载,有助于实现更高的速度(即 100Gbit/s 及以上)。为了让这些数据包通过协议栈,BIG TCP 在 IPv6 头之后添加了一个临时的 "逐跳"(Hop-By-Hop)头,并在通过线路传输数据包之前将其剥离。BIG TCP 可在双协议栈设置中运行,IPv4 数据包将使用旧的下限(64k),IPv6 数据包将使用新的较大下限(192k)。请注意,Cilium 假定 GSO 和 GRO 的默认内核值为 64k,只有在必要时才会进行调整,也就是说,如果启用了 BIG TCP,而当前的 GSO/GRO 最大值小于 192k,那么 Cilium 会尝试增加这些值;如果禁用了 BIG TCP,而当前的最大值大于 64k,那么 Cilium 会尝试减少这些值。BIG TCP 不需要更改网络接口 MTU。

需求

  • ✔️ Kernel >= 5.19
  • ✔️ eBPF Host-Routing(主机路由)
  • ✔️ 基于 eBPF 的 kube-proxy 替换
  • ✔️ 基于 eBPF masquerading(伪装)
  • ✔️ 禁用隧道(Tunnel)和加密
  • ❌ 支持的 NICs: mlx4, mlx5

由于我这里没有 mlx4, mlx5 型号的网卡, 所以本次无法实战测试了.

要启用 IPv6 BIG TCP:

helm install cilium cilium/cilium --version 1.13.4 \
  --namespace kube-system \
  --set tunnel=disabled \
  --set bpf.masquerade=true \
  --set ipv6.enabled=true \
  --set enableIPv6Masquerade=false \
  --set enableIPv6BIGTCP=true \
  --set kubeProxyReplacement=strict

请注意,切换 IPv6 BIG TCP 选项后,必须重新启动 Kubernetes Pod 才能使更改生效。

要验证您的安装是否使用 IPv6 BIG TCP 运行,请在任何一个 Cilium pod 中运行 cilium status,并查找报告 "IPv6 BIG TCP "状态的行,其状态应为 "enabled"。

修改 MTU 为巨型帧

这里也顺便提一下"修改 MTU 为巨型帧".

最大传输单位(MTU)会对配置的网络吞吐量产生重大影响。Cilium 将自动检测底层网络设备的 MTU。因此,如果系统配置为使用巨型帧,Cilium 将自动使用巨型帧。

要从中受益,请确保您的系统配置为使用巨型帧(如果您的网络允许)。

因为我的网络设备无法修改为巨型帧, 所以本次也无法实战测试.

总结

本文调优 Cilium, 启用 IPv6 BIG TCP 允许网络协议栈准备更大的 GSO(发送)和 GRO(接收)数据包,以减少协议栈的遍历次数,从而提高性能和延迟.

但是前提条件是 Kernel >= 5.19, 且需要特定网卡支持. 所以本次无法实际验证.

另一项调优为: 修改 MTU 为巨型帧, 以提升网络吞吐量. 但是前提条件是网络允许.

至此,性能调优已完成实战验证:

  • ✔️ 启用本地路由 (Native Routing)
  • ✔️ 完全替换 KubeProxy
  • ✔️ IP 地址伪装 (Masquerading) 切换为基于 eBPF 的模式
  • ✔️ Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
  • ✔️ 绕过 iptables 连接跟踪 (Bypass iptables Connection Tracking)
  • ✔️ 主机路由 (Host Routing) 切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
  • ❌ 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19, 支持的 NICs: mlx4, mlx5)
    • 由于没有支持的网卡, 无法完成验证
  • ❌ 修改 MTU 为巨型帧 (jumbo frames) (需要网络条件允许)
  • 启用带宽管理器 (Bandwidth Manager) (需要 Kernel >= 5.1)
  • 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
  • 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)

📚️参考文档

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

相关文章

  • nmap 杂项

    1. 杂项 记录一些重要的和并不重要的选项。 2. 启用 IPv6 扫描 -6 (启用 IPv6 扫描) 因为启用...

  • Centos7禁用ipv6

    查看ipv6是否启用 如果启用了,关闭方法。 1.编辑/etc/sysctl.conf,添加以下内容 #disab...

  • Socket详解---Delayed Ack(Ack确认延迟)

    如果一个 TCP 连接的一端启用了 Nagle‘s Algorithm,而另一端启用了 TCP Delayed A...

  • 启用ipv6模块

  • tlb

    经常会有人问,经常访问的内存超过多大会出tlb miss,或者说超过多大就有必要启用巨页内存,启用何种规格的巨页内...

  • 网络&Linux&性能相关文集

    不要在linux上启用net.ipv4.tcp_tw_recycle参数

  • RouterOS配置原生IPv6

    *IPv6启用需光猫支持 最近心血来潮,想玩IPv6了。读书的时候学习过IPv6的知识,现在已经还回去好多了……中...

  • 阿里云启用ipv6和隧道配置

    启用ipv6 隧道配置 隧道配置时用私网ip替换模板中给出的公网ip。

  • 【PMTU】TCP的MTU探测

    Linux内核默认情况下未开启TCP的MTU探测功能。 想要启用tcp mtu probe, 先要设置ip_no_...

  • Update、FixedUpdate 和 LateUpdate

    MonoBehaviour.Update 更新 当MonoBehaviour启用时,其Update在每一帧被调用。...

网友评论

      本文标题:Cilium系列-10-启用 IPv6 BIG TCP和启用巨帧

      本文链接:https://www.haomeiwen.com/subject/gvoypdtx.html