CentOS7 LVS部署手册

主机：10.237.3.203
备机：10.237.3.204
LVS VIP: 10.237.3.211

0、制作系统本地的光盘yum源

创建ISO挂载目录
mkdir /media/cdrom
挂载ISO至/media/cdrom
mount -t iso9660 /root/CentOS-7-x86_64-DVD-1611.iso /media/cdrom
编辑repo
vi /etc/yum.repos.d/CentOS-Media.repo
[c7-media]
name=CentOS-$releasever - Media
baseurl=file:///media/CentOS/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

如果有自建YUM可以第3行改为baseurl=http://10.237.120.250/iyum

1、基础软件包

yum -y install gcc gcc-c++ make popt popt-devel libnl libnl-devel popt-static openssl-devel kernel-devel

建立一个内核信息的符号链接，如下：
ln -s /usr/src/kernels/3.10.0-514.el7.x86_64 /usr/src/linux

2、安装LVS软件

yum -y install ipvsadm
ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)

3、安装keepalived软件

yum install keepalived
keepalived -v
Keepalived v1.2.13 (05/25,2017)

4、系统防火墙配置（未开防火墙则忽略）

修改iptables配置，在主机上放开备机进来的流量，在备机也做相似设置：
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT firewall-cmd --reload

5、配置/etc/keepalived/keepalived.conf文件

注：

1. 在备机上，配置文件仅有router_id和priority的值不同；
2. nopreempt只在权重值高的主服务器上配置，权重值低的服务器不需要此条；
3. interface eth0根据实际的环境配置。

---

router_id:50要求主备一样，且必须在0-255之间；
priority :150（权重主比备高50即可，主配置150，备配置100）；
virtual_ip: 10.237.3.210（virtual_ip为真实环境的虚ip）
real_server :10.237.3.207 8066（real_server的IP写为本机的ip）
nopreempt :只在权重值高的服务器上配置，权重值低的服务器不需要此条注释掉即可；
interface eth0：ifconfig看下本地使用的网卡，如果是bound0则改为bound0.
connect_port：80（该端口改为真实环境下数据库提供服务的端口）

global_defs {
}

vrrp_instance VI_203 {
    state BACKUP
    nopreempt
    interface eth0
    virtual_router_id 50
    priority 150   #权重值
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1207
    }
    virtual_ipaddress {
        10.237.3.211
    }
}

virtual_server 10.237.3.211  80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    #persistence_timeout 2
    protocol TCP

     real_server 10.237.3.203 80 {
     weight 100
     TCP_CHECK {
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
         connect_port 8066
        }
    }
     real_server 10.237.3.204 80 {
     weight 100
     TCP_CHECK {
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
         connect_port 8066
        }
    } 
}

启动keepalived服务
systemctl start keepalived.service
设置keepalived开机启动
systemctl enable keepalived.service
查看keepalived服务状态
systemctl status keepalived.service
查看系统网卡VIP是否已经生效：
ip a

6、负载均衡后端应用主机的配置

使用DR模式时，在各个提供后端服务的应用主机上传脚本lvs_real_server.sh至/usr/local/src下并设置：
chmod 700 /usr/local/src/lvs_real_server.sh
echo "/usr/local/src/lvs_real_server.sh start" >> /etc/rc.d/rc.local
/usr/local/src/lvs_real_server.sh start
以下为lvs_real_server.sh的内容，注意要更新VIP配置：
vi lvs_real_server.sh

#!/bin/bash
#written by Daniel on 2014/02/19
#version 1.0
VIP=10.237.3.211
. /etc/rc.d/init.d/functions
case "$1" in
start)
        ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
        route add -host $VIP dev lo:0
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p > /dev/null 2>&1
        echo "Real Server Start OK"
        ;;
stop)
        ifconfig lo:0 down
        route del $VIP > /dev/null 2>&1
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
        echo "Real Server Stoped"
        ;;
*)
        echo "Usage: $0 {start|stop}"
        exit 1
esac
exit 0

7、测试后端负载均衡服务的方法

在完成LVS部署后，后端提供服务的应用可能还没有上线。在每个后端节点上临时启动一个http server，服务端口设置为与LVS负载均衡服务相对应的端口号即可。使用后，停掉该命令即可。

# python -m SimpleHTTPServer 8855
Serving HTTP on 0.0.0.0 port 8855...

8、棘手问题

现象：

1. ipvsadm -ln 无实体机转发记录。
2. systemctl status keepalived.service
   提示IPVS no such destination错误
   措施：
   查看内核模块是否加载
   lsmod|grep ip_vs
   如果没有加载，使用如下命令加载ipvs相关模块

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr  ##今日手动加载了此模块
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4

9、待解决问题

多端口监听（80+443）引起交互机cpu过高，问题待查