1 集群的概念

• Cluster的概念

- 当系统的性能实在是不够用,一般的系统的扩展方式
  Scale Up: 向上扩展,增强
  Scale Out: 向外扩展,增加设备,但是存在调度问题
Cluster: 集群,为解决某个特定的问题将多台计算机组合起来形成的单个系统
Linux Cluster类型:
  LB: Load Balancing, 负载均衡
  HA: High Availiablity,高可用,解决SPOF(Single Point Of Failuer)单点故障
  HPC: High-performance computing,高性能计算
分布式系统:
  分布式存储:云盘
  分布式计算: hadoop, Spark

• Cluster 的分类

硬件: 
  F5 Big-IP
  Citrix Netscaler
  A10
软件:
  LVS: Linux Virtual Server
  nginx: 支持四层调度
  haproxy:支持四层调度
基于工作的协议层次划分:
  传输层(通用):DPORT
    lvs,nginx(stream),haproxy(mode tcp)
  应用层(专用):对特定的协议
    proxy server(代理服务器)
    http: nginx, httpd, haproxy(mode http)
    fastcgi: nginx, httpd
    mysql: mysql-proxy

• 与Cluster相关的一些问题及解决

会话保持: 负载均衡
  1 session sticky: 同一个用户调度固定的服务器
    Source IP: LVS sh 算法(对特定的服务而言)
    Cookie
  2 session replication: 每一台拥有的全部的session
    session multicast cluster
  3 session server: 专门的session服务器
    Memcached, Redis
HA集群实现方案:
  keepalived:基于 vrrp(虚拟冗余路由协议)
  ais:application interface standard(应用接口规范)
    heartbeat, cman+rgmanager, corosync+pacemaker

2 LVS的介绍

• LVS: Linux Virtual Server,负载调度器,集成内核(在netfileter的框架上),由章文嵩研发

lvs:基于四层调度,根据一定的算法将客户端的请求分发给后端的服务器
工作原理: VS根据请求的报文的目标IP和目标协议及端口将其调度转发到某RS,根据调度算法来挑选RS
iptables/netfilter:
  iptables:用户空间的管理工具
  netfileter: 内核空间的框架
  流入: PREROUTING --> INPUT
  流出: OUTPUT --> POSTROUTING
  转发: PREROUTING --> FORWARD --> POSTROUTING
查看内核是否支持ipvs
  grep -i -A 20 'ipvs' /boot/config-xxx

• LVS的概念:
• LVS中的一些术语

VS: VIrtual Server,Director Server(DS)
  Dispatcher(调度器),Load Balancer
RS: Real Server(lvs), upstream server(在nginx中叫), backend server(在haproxy叫)
CIP: Client IP
VIP: Virtual server IP VS外网的IP
DIP: Direcor IP VS内网的IP
RIP: Real server IP 真是服务器的IP地址
访问流程: CIP <--> VIP==DIP <-->RIP

• LVS 集群的类型:

lvs: ipvsadm/ipvs
  ipvsadm: 用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer
  ipvs: 工作于内核空间netfilter的INPUT钩子上的框架
    支持的协议: tcp udp ah_esp esp ah sctp
lvs集群的类型:
  lvs-nat: 修改请求报文的目标IP,多目标IP的DNAT
  lvs-dr: 操纵封装新的MAC地址
  lvs-tun: 在原请求IP报文之外新加一个IP首部
  lvs-fullnat: 修改请求报文的源和目标

• lvs-nat

lvs-nat
多目标DNAT(iptables) 他通过修改报文的目标IP地址(同时可能会修改目标端口)至挑选出来某RS的RIP地址实现转发
    1 RS 应该使用私有网络地址，且RS的网关指向DIP(DIP和RIP之间可以使用路由器)
    2 请求和相应报文都要经由director转发，极高负载的场景中，director可能会成为系统瓶颈
    3 支持端口映射
    4 RS 可以使用任意操作系统
    5 RS的RIP和Director的DIP在同一IP网络,也可以不在同一个网段

• lvs-dr

1 保证前端路由器将目标IP为VIP的请求报文发送给director
  解决方案
    静态绑定
    arptables  后台主机不能使windows
      arptables -A IN -d $VIP -j DROP
      arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
    修改RS主机内核参数
      arp_announce
      arp_ignore
2 RS的RIP可以使用私有地址，但是也可以使用公网地址
3 RS跟Director必须在同一物理网络中
4 请求报文经由Director 调度，但响应报文一定不能经由Director;
5 不支持端口映射
6 RS 可以是大多数操作系统
7 RS的网关不能指向DIP

• lvs-tun

转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
  (1) DIP, VIP, RIP都应该是公网地址
  (2) RS的网关不能,也不可能指向DIP
  (3) 请求报文要经由Director,但响应不能经由Director
  (4) 不支持端口映射
  (5) RS的OS须支持隧道功能

• lvs-fullnat: 这种类型kernel不支持,所以也就不做介绍了

• LVS工作模式的总结

  
  

lvs-nat与lvs-fullnat:请求和响应报文都经由Director
lvs-nat: DIP的网关指向DIP
lvs-fullnat: DIP和RIP未必在同一个网络,但要能够通信
lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
lvs-dr: 通过封装新的MAC首部实现,通过MAC网络转发
lvs-tun: 通过在原IP报文封装新的IP头,实现转发,支持远程通信

• ipvs scheduler: lvs的调度算法

根据是否考虑各个RS的负载状态,可分为两种:动态算法和静态算法
静态算法:四种
  1 RR: roundrobin,轮训
  2 WRR: weight RR, 加权的轮训
  3 SH: source hashing,实现 session sticky,源地址hash,将来自统一个IP的地址的请求始终发送给第一次挑中的RS,从而实现会话绑定,粒度比较粗
  4 DH: destination hashing: 目标地址hash,将发往同一个目标地址的请求始终发至第一次挑中的RS,典型的场景是正向代理缓存场景中的负载均衡
动态算法:
  1 LC: least connections 适用于长连接使用 overhead=active*256+inactiveconns
  2 WLC: weight LC: 默认调度算法 overhead=(activeconns*256+inactiveconns)/weight
  3 SED: shortest Expection Delay: 初始连接权重优先 overhead=(activeconns+1)*256/weight
  4 NQ: nerver queue: 第一次均匀分配,后续SED
  5 LBLC: locality-based lc,动态的DH算法,场景:根据负载状态实现正向代理
  6 LBLCR: LBLC with Replication,带复制功能的LBLC,解决LBLC不均匀问题,从负载重的复制到负载轻的RS

• ipvsadm

ipvsadm 用法同iptables
  管理集群服务 
    ipvsadm -A|E -t|u|f service-address [-s scheduler]  E 修改
    ipvsadm -D -t|u|f service-address
      service-address
        tcp: -t ip:port
        udp: -u ip:port
        fwm: -f mark    
      -s scheduler
  管理集群服务中的RS
    ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
    ipvsadm -d -t|u|f service-address -r server-address
      server-address
        ip:port
      lvs-type    要注意使用 什么模型
        -g gateway dr
        -i ipip tun
        -m masquerade,nat   
  清空和查看
    ipvsadm -C
    ipvsadm -L|l [options]
      -n numberic 基于数字格式显示地址和端口
      -c connetcion 显示ipvs连接
      --rate 速率
      --stats 统计数据
      --exact 精确值
  保存和重载
    ipvsadm -R
    ipvsadm -S [n]
  置零计数器
    ipvsadm -Z [-t|u|f service-address]

3 LVS的实现

• lvs-nat

  
  

1 布置此环境的时候,使用linux的主机进行实现
2 route的转发的功能需要实现,Director的核心转发就不需要打开
3 将RIP1和RIP2的网关指向DIP
4 然后在Director上写转发规则
5 在各RS布置上服务如,mysql或httpd的服务
6 在Director上写规则,使用的是mysql和http并且是使用的轮训的算法
  ipvsadm -A -t 192.168.8.3:80 -s rr
  ipvsadm -a -t 192.168.8.3:80 -r 172.18.23.71:80 -m -w 1
  ipvsadm -a -t 192.168.8.3:80 -r 172.18.23.72:80 -m -w 2
  ipvsadm -A -t 192.168.8.3:3306 -s rr 
  ipvsadm -a -t 192.168.8.3:3306 -r 172.18.23.71:3306 -m -w 1
  ipvsadm -a -t 192.168.8.3:3306 -r 172.18.23.72:3306 -m -w 2

• lvs-dr

DIP和VIP是同网段的地址,如果用到生产环境,会需要很多的公网IP

1 布置此环境的时候,使用linux的主机进行实现
2 ,Director,route的转发的功能需要实现
3 将Director,RIP1和RIP2的网关指向router 2
4 在各个RS的服务器上修改内核参数
  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
  ifconfig lo:0 172.18.23.100/32 broadcast 172.18.23.100 up
  route add -host 172.18.23.100 dev lo:0 
5 在Director上配置IP地址
  ifconfig ens33 172.18.23.100/32 broadcast 172.18.23.100 up
  route add -host 172.18.23.100 dev ens33
6 在Director上写ipvs规则
  ipvsadm -A -t 172.18.23.100:80 -s rr
  ipvsadm -a -t 172.18.23.100:80 -r 172.18.23.71:80 -g -w 1
  ipvsadm -a -t 172.18.23.100:80 -r 172.18.23.72:80 -g -w 2
  ipvsadm -A -t 172.18.23.100:3306 -s rr
  ipvsadm -a -t 172.18.23.100:3306 -r 172.18.23.71:80 -g -w 1
  ipvsadm -a -t 172.18.23.100:3306 -r 172.18.23.72:80 -g -w 2

DIP和VIP是同网段的地址,可以使用内网IP

1 布置此环境的时候,使用linux的主机进行实现
2 Director,router的转发的功能需要实现,并且router上还应当有192.168.80.0/24地址,否则可能会有问题
3 将Director,RIP1和RIP2的网关指向router 2
4 在各个RS的服务器上修改内核参数
  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
  ifconfig lo:0 192.168.8.8/32 broadcast 192.168.8.8 up
  route add -host 192.168.8.8 dev lo:0 
5 在Director上配置IP地址
  ifconfig ens33 192.168.8.8/32 broadcast 192.168.8.8 up
  route add -host 192.168.8.8 dev ens33
6 这种方式,需要在前段路由器上添加一条路由规则,执行vip,通过route2 的网卡
7 在Director上写规则
  ipvsadm -A -t 192.168.8.8 -s rr
  ipvsadm -a -t 192.168.8.8:80 -r 172.18.23.71:80 -g -w 1
  ipvsadm -a -t 192.168.8.8:80 -r 172.18.23.72:80 -g -w 2
  ipvsadm -A -t 192.168.8.8:3306 -s rr
  ipvsadm -a -t 192.168.8.8:3306 -r 172.18.23.71:80 -g -w 1
  ipvsadm -a -t 192.168.8.8:3306 -r 172.18.23.72:80 -g -w 2

对于上面三种lvs的实现:可以使用FWM即:基于防火墙标记进行统一调度,请自行进行调节

iptables -t mangle -A PREROUTING -d VIP -p tcp --dport 80 -j MARK 10
iptables -t mangle -A PREROUTING -d VIP -p tcp --dport 3306 -j MARK 10
ipvsadm -A -f 10 rr
ipvsadm -a -f 10 -r 172.18.23.71 -g
ipvsadm -a -f 10 -r 172.18.23.72 -g