LVS简介

lvs工作在linux内核，OSI的4层。由于是内核转发，不需要监听socket，所以没有最大打开文件数的限制。nginx/haproxy 工作在7层，其4层代理，也是由模块实现工作在4层。都是监听socket，再由本地进行反代，向服务端发起请求。此时会有最大打开文件数的限制，65536个文件
由于LVS工作在4层，会有很多高级功能实现不了。比如ssl卸载

lvs工作模式

iptables的工作模式

image.png

lvs的工作模式

image.png

ipvsadm是ipvs的管理工具

lvs的各种模式

VS：调度器
CIP：客户端IP
DIP：调度器的内网IP
VIP：调度器的外网IP
RS：后端真实服务器

ipvs NAT模式

ipvs NAT是修改目标IP和PORT，对其进行转发

image.png

• RS和VS必须在同一IP网络内，RS必须指向VS的网关，可以转发后端多DIP
• 请求和响应都经过VS，VS容易成为瓶颈
• 支持端口映射
• 后端的RS可以为任意主机

lvs DR 模式

重新封装包的MAC地址，进行转发

image.png

• RS和VS必须在同一物理网络，即RS和VS必须在同一组交换机下
• RS不用指向VS的网关，以确保包能过从RS直接发出去
• RS的VIP必须抑制通告和响应
  1 .通过内核参数arp_ignore和arp_announce
  2 .通过arptables
  3 .前端路由器，绑定VS的MAC地址，后端RS的VIP，只对自己广播
• 不支持端口映射

lvs tun模式

在原报文中封装IP地址

image.png

• RIP，VIP,CIP均为公网地址
• 后端的RS必须支持隧道协议
• 不支持端口映射

lvs full NAT模式

改变请求报文的源IP地址和目标IP，源port和目标port

image.png

• 使其后端的RS不用指向VS的网关，其后端的RS可以为不同的网络
• 请求和响应报文都经过VS，VS易成为瓶颈
• 支持端口映射
• 非标准模式，必须重新编译内核才行

总结

ipvs NAT 和 ipvs full NAT

NAT：改变目标的IP和PORT，RS必须指向VS的网关
full NAT:改变源IP和PORT，目标IP和PORT

ipvs DR和TUN

DR:重新对请求报文的MAC地址进行封装（VS和RS在同一物理网络，同一组交换机下）
TUN：再原有的请求报文头部，再次封装一个IP包头（公网）

ipvs 算法

静态

根据算法

RR: 轮询算法
WRR:加权轮询
SH：根据源IP进行hash算法绑定，用于粘性session 绑定，相当于nginx的ip_hash。
DH：根据目标IP进行hash绑定，进行hash算法绑定，用于正向代理的负载均衡

image.png

用户通过正向代理上网，正向代理将用户请求的网站内容，缓存到本地。下一次用户访问相同站点，直接从代理缓存中获取站点内容即可。如果有两台正向代理，可以配置LVS的DH算法，让其相同的目标站点，都访问同一台正向代理服务器，加大缓存命中率

动态

根据后端服务器的负载情况
LC: 权重=(activeconnection256+inactiveconnection)
WLC: 权重=(activeconnection256+inactiveconnection)/w
SED： 权重=(actionconnection*256+1)/w
假设，后端RS，A(1),B（10）,都没有连接。会使B（10）优先获得连接。而WLC，如果都没有连接，会按照次序，依次分配连接，可能会导致A（1），优先获得连接
NQ : 加强的SED
当A(1),B(10)一开始获得连接，当发现B（10）的连接数为10个，但A（1）才有1一个，会不公平。所以在一开始，分配连接时，先给B(10),A(1)都分配一个连接。随后按照权重，进行分配连接

虽然SED,和NQ比WLC更加公平，但其算法复杂，消耗的资源也多，所以WLC依然是最优算法

LBLC： 在DH，进行权重代理

正向代理，两台服务器，负载不一样时，有新目标的连接请求，会分配到负载比较小的那台机器

LBLCR: 把DH，进行权重代理，把缓存进行迁移共享

当A和B两台负载均衡，都负载了50%。但A有90%的活跃连接，B有10%的活跃连接。此时A的负载高于B的。VS的算法，会把A的缓存，迁移到B一份，B有A的缓存。再次有访问时，访问B即可。减轻A的负载

ipvsadm 使用说明

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
  ipvsadm -D -t|u|f service-address
  ipvsadm -C
  ipvsadm -R  ipvsadm -S [-n]
  ipvsadm -a|e -t|u|f service-address -r server-address [options]
  ipvsadm -d -t|u|f service-address -r server-address
  ipvsadm -L|l [options]
  ipvsadm -Z [-t|u|f service-address]

options
 --gatewaying   -g                   gatewaying (direct routing) (default)
  --ipip         -i                   ipip encapsulation (tunneling)
  --masquerading -m                   masquerading (NAT)
  --weight       -w weight            capacity of real server
  --stats                             output of statistics information
  --rate                              output of rate information
  --exact                             expand numbers (display exact values)
--connection   -c                   output of current IPVS connections


-A 添加服务
-E 修改服务
-t tcp协议
-u udp协议
-f  iptables flag标识
-s  调度算法
-p 是否持久连接 默认360s
-Z 清空计数器
-C 清空规则
-S 保存
-R 从文件中恢复规则
-a 添加后端RS节点
-g DR模式
-i TUN模式
-m NAT模式
-w 权重
--stats 显示所有连接的状态
--rate 显示速率
--connection 显示连接数

配置NAT

vs

外网IP 10.0.0.11
内网IP 172.16.1.11
# VS开启路由转发（此次试验没有开启，但马哥视频上说开启）
ipvsadm -A -t 10.0.0.11:80 -s rr
ipvsadm -a -t 10.0.0.11:80 -r 172.16.1.12 -m
ipvsadm -a -t 10.0.0.11:80 -r 172.16.1.13 -m
[root@mysql network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
TCP  10.0.0.11:80 rr
  -> 172.16.1.12:80               Masq    1      0          3         
  -> 172.16.1.13:80               Masq    1      0          3         

RS

RS的网卡指向vs内网网卡的IP，注意VS只配置内网网段。

测试

root@mysql network-scripts]# curl 10.0.0.11
172.16.1.11
[root@mysql network-scripts]# curl 10.0.0.11
172.16.1.12
[root@mysql network-scripts]# curl 10.0.0.11
172.16.1.11
[root@mysql network-scripts]# curl 10.0.0.11
172.16.1.12

配置 DR模式

VS

#开启路由转发
ifconfig ens33:0 10.0.0.0.14 netmask 255.255.255.255 boradcost 10.0.0.14
ipvsadm -A -t 10.0.0.14:80 -s rr
ipvsadm -a -t 10.0.0.0.14:80 -r 10.0.0.12 -g
ipvsadm -a -t 10.0.0.0.14:80 -r 10.0.0.13 -g

RS

echo 1  > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 1  > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig lo:0 10.0.0.14 netmask 255.255.255.255 boradcost 10.0.0.14
route add -host 10.0.0.14 dev lo:0

测试

注：curl 要全路径进行curl命令

image.png image.png

• RS抑制arp应答

arp_ignore=1
0:只要跟eth0沟通，从eth1过来也可以
1：对eth0沟通，只能从eth0过来，从eth1过啦沟通不了

• 抑制ARP通告
  arp_announce=2
  0: C会刚给Aeth0和eth1的地址
  1：C 尽量给A eth0的地址
  2：C只会给Aeth0的地址
• 给RS添加路由
  route add -host 10.0.0.14 dev lo
  确保响应报文会从vip出去，因为报文从哪进来就从哪出去。（从VS到RS是重新封装MAC地址包，只解开第二层，第三层的目标IP包还是没有解开）
• 配置RS的VIP的lo上
  因为只有把VIP和CIP配置不在不同

LVS绑定服务

当用户请求80或443端口时，只需要VS后端负载一个集群。对用户，来说请求这两个端口，相当于请求的是一样的内容，包括算法

iptables -t mangle -A PREROUTING -d 10.0.0.14 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 3 
ipvsadm -A -f 3 -s sh
ipvsadm -a -f 3 -r 10.0.0.12 -g
ipvsadm -a -f 3 -r 10.0.0.13 -g
# 后端RS和配置DR模式一样

lvs 会话绑定

[root@mysql ~]# ipvsadm -E -f 3 -s rr -p
[root@mysql ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  3 rr persistent 360
  -> 10.0.0.12:0                  Route   1      0          0         
  -> 10.0.0.13:0                  Route   1      0          0 

# -p支持会话绑定默认360秒
如果后端服务为serice_ip:0的话，必须使用-p选项

image.png