第三十五天 实现sersync自动同步

今日内容 sersync

1.什么是实时同步？

#监控一个目录的变化，当该目录触发事件（创建、删除、编辑）时
#就执行动作，这个动作，可以是rsync 同步，也可以是其他的

2.为什么要实时同步？

1.能够解决nfs单点故障问题  （没什么意义） （可以尝试一下glusterfs）
2.能够本地快速切换至云端 （随时随地的留一手）

3.实时同步原理

借助一个通知接口，inotify
#inotify    监控本地主机事件（船舰、删除、编辑）
则通知执行动作，可以是rsync同步

4.实时同步的场景

1.nfs出现单点故障时
2.本地服务器迁移至云端时

5.实时同步工具选择

1.inotify + rsync 实现    #需要编写脚本实现监控，将其放入后台 screen

2.sersync 实时同步

3.lsyncd

sersync介绍：https://github.com/wsgzao/sersync

6.实时同步案例演示

规划：
web     #10.0.0.7 172.16.1.7        httpd/php
nfs     #10.0.0.31 172.16.1.31  nfs-server inotify rsync sersync
backup  #10.0.0.41 172.16.1.41  rsync-server nfs-server

案例演示

1.实现web上传视频，自动存储至NFS服务器

NFS 服务端 10.0.0.31 172.16.1.31

1.安装nfs
[root@nfs ~]# yum install nfs-utils -y

2.配置
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

3.根据配置初始化环境
[root@nfs ~]# groupadd -g666 www
[root@nfs ~]# useradd -u666 -g666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/

4.重启nfs服务
[root@nfs ~]# systenctl restart nfs-server
[root@nfs ~]# systemctl enable nfs-server

WEB 服务端 10.0.0.7 172.16.1.7

1.安装 httpd php
[root@web01 ~]# yum install httpd php -y

2.配置httpd php
（起来就行，对于我们，无需配置）

3.启动httpd
[root@web01 ~]# systemctl start httpd

PS : 不要把他加入开机自启

4.模拟测试
[root@web01 ~]# echo "oldboyedu.com" > /var/www/html/index.html
#将oldboyedu.com加入到 index.html ，即网页的首页，测试是否出现

WEB进行挂载，上传代码：
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web01 ~]# cd /var/www/html
[root@web01 ~]# rz kaoshi.zip   #kaoshi.zip 测试文件
[root@web01 ~]# unzip kaoshi.zip

PS：用户通过前端的web页面上传视频
如果上传失败：请检查日志文件
[root@web01 ~]# tail -f /var/log/httpd/error_log

2.当NFS的目录发生变化，则触发同步 （实时同步）

1.怎么监控/data ？ inotify

2.rsync同步给谁 --->backup服务器 [backup模块] [data模块]

1.rsync服务

主机backup 10.0.0.41 172.16.1.41

1.#安装rsync
[root@backup ~]# yum install rsync -y

2.#配置rsync
[root@backup ~]# vim /etc/rsyncd.conf

uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################

[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data]
path = /data

3.#根据rsync配置初始环境
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# mkdir /backup/ /data/ -p
[root@backup ~]# chown -R rsync.rsync /backup/ /data/

4.#启动rsync
[root@backup ~]# systemctl restart rsyncd
[root@backup ~]# systemctl enable rsyncd

2.NFS服务配置安装

nfs主机 10.0.0.31 172.16.1.31

1.#安装rsync  inotify
[root@nfs ~]# yum install rsync inotify-tools -y

2.#安装sersync 
[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/       #解压
[root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync   #移动至指定文件夹内
[root@nfs ~]# vim /usr/local/sersync/confxml.xml

#创建密码文件
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass

3.启动sersync
[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

4.检验手动执行该命令，测试是否OK，便于排查问题
[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

1568108954500.png

修改配置文件 vim /usr/local/sersync/confxml.xml

[root@nfs01 sersync]# vim confxml.xml
  5     <fileSystem xfs="true"/>  <!-- 文件系统 -->
  6     <filter start="false">  <!-- 排除不想同步的文件-->
  7         <exclude expression="(.*)\.svn"></exclude>
  8         <exclude expression="(.*)\.gz"></exclude>
  9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>
 
 12     <inotify> <!-- 监控的事件类型 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>
 
 23     <sersync>
 24         <localpath watch="/data"> <!-- 监控的目录 -->
 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模块 -->
 28         </localpath>
 
 29         <rsync> <!-- rsync的选项 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

            <!-- 每60分钟执行一次同步-->
  36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
    ault every 60mins execute once-->

3.模拟NFS故障，web可以快速切换到backup的NFS服务器上

PS：

1.backup的权限是否和NFS的权限一致？

2.backup是否配置了NFS服务？是否共享了/data目录

3.模拟NFS故障，实现切换

1.backup的权限是否一致 10.0.0.41 172.16.1.41

1.修改内容
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
comment = welcome to oldboyedu backup!
path = /data

2.创建用户
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -g 666 -u 666 www

3.修改权限
[root@backup ~]# chown -R www.www /data/ /abckup/

4.重启服务
[root@backup ~]# systemctl restart rsyncd

2.backup服务器是否配置NFS服务

1.安装NFS
[root@backup ~]# yum install nfs-utils -y

2.配置NFS
[root@backup ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
[root@backup ~]# chown -R www.www /data/

3.启动NFS
[root@backup ~]# systemctl enable nfs-server
[root@backup ~]# systemstl start nfs-server

3.模拟NFS故障，实现切换

[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html
#秒级流量切换

STAR

https://www.cnblogs.com/xuliangwei/p/10245289.html
S: 项目背景: *******
T: 项目任务: *******
A: 项目实施: *******
R: 产生价值: *******

S: 故障时间: *******
T: 故障分析: *******
A: 如何解决: *******
R: 结果: *******