关于NodePort使用iptables和ipvs模式,负载均衡

实验目标

• 判断NodePort内部转发是否负载均衡
• 判断iptables和ipvs相同访问的情况下能力差距
• 实验环境除iptables和ipvs的模式以外，版本，配置，网络插件，均一直

实验步骤

1.创建多副本deployment分布到不通主机器（一定要保证pod分布均匀）
# kubectl create deployment nginx-test --image=nginx
# kubectl scale deployment nginx-test --replicas=9
# kubectl get deployment -o wide

2.创建SVC
# kubectl expose deployment nginx-test --type=NodePort --target-port=80 --port=80 --name=nginx-svc

3.修改相关index用于识别
# cat index.sh
for i in `kubectl get pod -o wide| grep -v NAME | awk '{print $1":"$7}'`;
do
  name=`echo $i | awk -F ":" '{print $1}'`
  host=`echo $i | awk -F ":" '{print $2}'`
  cmd=`echo 'kubectl exec -it $name -- bash -c "echo' $host '> /usr/share/nginx/html/index.html"'`
  eval $cmd
done

4.统计访问100次都是那些主机
# cat sum.sh
log_file="/tmp/sum.txt"
echo > $log_file
start_time=`date "+%s"`
for i in {1..5000};
do
  curl -s http://192.168.26.104:32363/ >> $log_file
done
end_time=`date "+%s"`
echo "使用时间:" $[end_time-start_time]
cat /tmp/sum.txt | sort | uniq -c

python3版本测试用例

import requests,time

for_sum=5000
url="http://192.168.26.102:30030/"

sum_list={}
start_time=time.time()
for i in range(for_sum):
    resp=requests.get(url)
    try:
        sum_list[resp.content.decode()]=sum_list[resp.content.decode()] + 1
    except:
        sum_list[resp.content.decode()] = 0
end_time=time.time()
print("用时:", end_time - start_time  ,"秒")
print(sum_list)

环境记录(svc值有一条,使用python3的测试代码)

• iptables

用时: 23.67735481262207 秒
{'k8snode-1\n': 983, 'k8snode-2\n': 954, 'k8snode-5\n': 1014, 'k8snode-4\n': 1030, 'k8snode-3\n': 1014}

用时: 23.920344352722168 秒
{'k8snode-5\n': 1035, 'k8snode-1\n': 978, 'k8snode-3\n': 1002, 'k8snode-2\n': 1002, 'k8snode-4\n': 978}

用时: 23.591750144958496 秒
{'k8snode-5\n': 961, 'k8snode-1\n': 1017, 'k8snode-3\n': 1048, 'k8snode-2\n': 1011, 'k8snode-4\n': 958}

• ipvs

用时: 23.547069787979126 秒
{'k8snode-5\n': 999, 'k8snode-3\n': 999, 'k8snode-2\n': 999, 'k8snode-1\n': 999, 'k8snode-4\n': 999}

用时: 23.893048524856567 秒
{'k8snode-5\n': 999, 'k8snode-3\n': 999, 'k8snode-2\n': 999, 'k8snode-1\n': 999, 'k8snode-4\n': 999}

用时: 23.7876193523407 秒
{'k8snode-5\n': 999, 'k8snode-3\n': 999, 'k8snode-2\n': 999, 'k8snode-1\n': 999, 'k8snode-4\n': 999}

小结

使用iptables模式的nodeport存在负载不均衡，随着iptables条数的增加导致不均衡的表现会体现的越加明显