Day35-sersync实时同步

1.什么是实时同步

• 监控一个目录的变化, 当该目录触发事件(创建\删除\修改)
• 就执行动作, 这个动作可以是 rsync同步 ,也可以是其他.

2.为什么要实时同步

• 能解决nfs单点故障问题. (没什么意义) glusterfs
• 能够让本地快速切换至云端. (随时都需要留一个后手)

3.实时同步的原理

• 借助一个通知接口, inotify. inotify监控本地主机的事件(创建\删除\修改),则通知执行动作 这个动作可以是 rsync同步

4.实时同步的场景

• 能解决nfs单点故障问题
• 能够让本地快速切换至云端

5.实时同步工具选择

• inotify+rsync实现 写脚本来实现监控 放在后台 screen
  1.脚本 (不适合)
  2.同步
• sersync实时同步 (*)
• lsyncd

实时同步案例演示

规划:

名称              地址                   所需软件
web         10.0.0.7 172.16.1.7         httpd\php
nfs         10.0.0.31 172.16.1.31       nfs-server  inotify rsync sersync
backup      10.0.0.41 172.16.1.41       rsync-server  nfs-server

1.实现web上传视频,自动存储至NFS?

• NFS服务端 nfs

1.安装

[root@nfs ~]# yum install -y nfs  

2.配置

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

3.初始化环境

[root@nfs ~]# groupadd www -g666
[root@nfs ~]# useradd www -u666 -g666
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/

4.重启nfs服务

[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl enable nfs

• WEB服务端 web01
  1.安装httpd php

[root@web1 ~]# yum install -y php httpd

2.配置httpd php
3.启动httpd

[root@web1 ~]# systemctl start httpd

4.挂载，上传代码

[root@web1 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web1 ~]# cd /var/www/html/
[root@web1 html]# rz
[root@web1 html]# unzip kaoshi.zip

5.用户通过前端的web页面上传视频,如果上传出现错误:请检查日志

[root@web01 html]# tail -f /var/log/httpd/error_log

2.当NFS的目录发生变化,则触发同步? (实时同步)

1.怎么监控/data? inotify
2.同步给谁rsync ---> backup服务器 [backup模块] [data模块]
rsync服务 backup
安装rsync

[root@backup ~]# yum install rsync -y

配置rsync

[root@backup ~]# cat /etc/rsyncd.conf 
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
#[backup]
#comment = welcome to oldboyedu backup!
#path = /backup
[data]
path = /data

初始化环境

[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
[root@backup ~]# mkdir /backup /data -p 
[root@backup ~]# chown -R rsync.rsync /backup/ /data/

启动rsync

[root@backup ~]# systemctl restart rsyncd 
[root@backup ~]# systemctl enable rsyncd

nfs服务配置 nfs
1.安装rsync inotify

[root@nfs ~]# yum install rsync inotify-tools -y

2.安装sersync ( rsync inotify )

[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
[root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass

[root@nfs01 sersync]# vim confxml.xml
  5     <fileSystem xfs="true"/>  <!-- 文件系统 -->
  6     <filter start="false">  <!-- 排除不想同步的文件-->
  7         <exclude expression="(.*)\.svn"></exclude>
  8         <exclude expression="(.*)\.gz"></exclude>
  9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>
 
 12     <inotify> <!-- 监控的事件类型 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>
 
 23     <sersync>
 24         <localpath watch="/data"> <!-- 监控的目录 -->
 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模块 -->
 28         </localpath>
 
 29         <rsync> <!-- rsync的选项 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

            <!-- 每60分钟执行一次同步-->
  36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
    ault every 60mins execute once-->

3.启动sersync

[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

4.建议: 手动执行该命令测试是否ok,这样方便排查问题

[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

3.模拟NFS故障, web可以快速的切换到backup的NFS服务上?

• backup的权限是否和NFS的权限一致?
• backup上是否配置NFS服务? 是否共享了/data目录?
• 模拟NFS故障,实现切换?
  1.backup的权限是否和NFS的权限一致?

修改如下内容:

    [root@backup ~]# vim /etc/rsyncd.conf   
    uid = www
    gid = www
    .....

创建用户

    [root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -g666 -u666 www

修改权限

    [root@backup ~]# chown -R www.www /data/ /backup/

重启服务

    [root@backup ~]# systemctl restart rsyncd

2.backup服务器上是否配置NFS服务? 是否共享了/data目录?
安装NFS
[root@backup ~]# yum install nfs-utils -y

配置NFS

    [root@backup ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@backup ~]# chown -R www.www /data/

启动NFS

    [root@backup ~]# systemctl enable nfs-server
    [root@backup ~]# systemctl start nfs-server

3.模拟NFS故障,实现切换?

[root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html