目标&效果图

一台服务器（Centos7），通过docker+keepalived模拟搭建一套web server层面的高可用系统。 docker+keepalived模拟搭建一套web server层面的高可用系统

实战

宿主机环境配置

• 安装Docker

yum -y install docker #安装Docker
systemctl start docker #启动Docker服务

• 拉取Centos镜像

docker pull centos #pull centos镜像，这里可以和git操作类比

• 安装其他辅助工具

#安装网络包(需要使用ifconfig和ping命令)
yum install net-tools
#安装vim
yum install vim

• 安装Keepalived

yum install -y gcc openssl-devel popt-devel #安装依赖环境
yum install keepalived #安装keepalived

运行容器&&进入容器

docker run -it keepalived_master /bin/bash #通过pull的镜像，运行容器
docker ps #查看docker进程
docker exec -it 54243978aa28 bash #进入 54243978aa28 [Master]这个容器

查看docker进程

Master容器环境配置

• 安装Keepalived[Master容器内]

yum install -y gcc openssl-devel popt-devel #安装依赖环境
yum install keepalived #安装keepalived

• 安装Nginx[Master容器内]

#使用yum安装nginx需要包括Nginx的库，安装Nginx的库
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-
release-centos-7-0.el7.ngx.noarch.rpm
# 使用下面命令安装nginx
yum install nginx
#安装网络包(需要使用ifconfig和ping命令)
yum install net-tools
#安装vim
yum install vim

• 修改keepalived配置

vim  /etc/keepalived/keepalived.conf 

Master keepalived.conf

state MASTER #keepalived主服务
priority 101 #选举的优先级
virtual_ipaddress #虚拟地址ip，多个ip可以以多行的方式添加
track_script #指定检测脚本，此处为/etc/keepalived/nginx_check.sh

• 添加nginx是否存活脚本

#检测nginx是否存活的脚本
A=`ps -ef | grep nginx | grep -v grep | wc -l`
if [ $A -eq 0 ];then
  nginx
  sleep 2
  if [ `ps -ef | grep nginx | grep -v grep | wc -l` -eq 0 ];then
      #killall keepalived
      ps -ef|grep keepalived|grep -v grep|awk '{print $2}'|xargs kill -9
  fi

fi

• 启动keepalived&nginx

systemctl daemon-reload  #重新加载配置
systemctl start keepalived.service #启动keepalived服务
systemctl status keepalived.service #查看当前状态

Master容器 systemctl status keepalived.service

• 修改Nginx默认页面

vim /usr/share/nginx/html/index.html

Nginx默认页面修改效果图

• 启动nginx

nginx #启动nginx，如果报端口占用，请看下边「遇到的问题」模块

• Master测试

ifconfig #查看当前ip

ifconfig效果图

curl 172.17.0.3 #请求nginx

curl 172.17.0.3效果图

• 以上，Master容器配置完成，接下来操作Salve环境。

保存Docker Master镜像

exit; #退出当前容器
 docker ps|grep "keepalived_master"; #查看刚运行的容器ID

查看keepalived_master容器ID

docker commit 54243978aa28 keepalived_master:v1 #提交容器镜像到本地 54243978aa28 为容器ID
docker images; #查看当前镜像

查看当前镜像

Slave容器环境配置

• 在Master镜像的基础上，运行Docker Slave容器

  #基于keepalived_master:v1镜像，启动keepalived_slave容器
  docker run --privileged  -tid --name  keepalived_slave   keepalived_master:v1 /usr/sbin/init
  

  #查看keepalived_slave容器进程ID
  docker ps
  

keepalived_slave容器进程

#进入 c5ea97ccc82d [Slave]这个容器
docker exec -it c5ea97ccc82d bash 

• 修改Slave容器的keepalived配置

  vim /etc/keepalived/keepalived.conf
  

slave容器的keepalived配置

  state BACKUP #keepalived主服务
  priority 100 #选举的优先级，Master设置的101
  virtual_ipaddress #虚拟地址ip，多个ip可以以多行的方式添加
  track_script #指定检测脚本，此处为/etc/keepalived/nginx_check.sh

• 重新加载keepalived配置、重启、查看状态【Slave容器】

  systemctl daemon-reload  #重新加载配置
  systemctl start keepalived.service #启动keepalived服务
  systemctl status keepalived.service #查看当前状态
  

Slave容器 systemctl status keepalived.service效果图

• 修改Nginx默认页面

  
  Slave容器 Nginx默认页面
• 启动nginx

nginx #启动nginx，如果报端口占用，请看下边「遇到的问题」模块

• Slave测试

ifconfig #查看ip

Slave容器ip地址

 curl 172.17.0.2

Slave容器 Nginx默认页面

以上，slave容器配置完成，进入验收测试阶段。

验收测试Keepalived、VIP

exit #退出salve容器
curl 172.17.0.210 #curl vip，我们配置的虚拟ip地址

最终效果图

其他测试用例

• 关掉主的keepalived - 测试主从高可用
• 关掉主的nginx - 测试检测nginx存活脚本

遇到的问题

• 容器里边启动Nginx，提示端口占用，run容器的时候，使用了--net=host，该方式使用宿主机的网络
• 启动keepalived之后，自动停止，查看状态systemctl status keepalived.service，报错
  IPVS: Can’t initialize ipvs: Protocol not available
  Unable to load module xt_set - not using ipsets，
  解决办法：

lsmod | grep ip_vs #返回空
lsmod | grep xt_set #返回空
vi /etc/sysconfig/modules/ip_vs.modules
#保存退出
#!/bin/sh
/sbin/modinfo -F filename ip_vs > /dev/null 2>&1
if [ $? -eq 0 ]; then
    /sbin/modprobe ip_vs
fi
#保存退出
chmod 755 /etc/sysconfig/modules/ip_vs.modules
vi /etc/sysconfig/modules/xt_set.modules
#!/bin/sh
/sbin/modinfo -F filename xt_set > /dev/null 2>&1
if [ $? -eq 0 ]; then
    /sbin/modprobe xt_set
fi
chmod 755 /etc/sysconfig/modules/xt_set.modules
reboot #注意，这是重启服务器
检查：
lsmod | grep ip_vs
lsmod | grep xt_set

参考链接：
[## Docker+Nginx+Keepalived实现架构高可用
](https://www.cnblogs.com/jinjiangongzuoshi/p/9313438.html