day35 综合架构实时同步
课程介绍:
1.实时同步原理概念
2.实现实时同步方式
3.实现实时同步方式
1)利用脚本实现实时同步
2)利用软件实现实时同步
知识回顾
全网备份项目思路:
1.对工作任务进行确认 (笔记录音)
2.根据需求编写文档资料 (部署计划 时间规划 人员规划 方案规划)
3.和领导开会 (相关人员着急)
4.根据规划完成任务
5.完成后项目文档总结(项目会议 人员培训)
完善客户端主机没有发送数据时,也可以让运维人员知道
rsync
if [ $? != 0 ]
then
echo "$(houstname -i)backup is failed" | mail -s "result" 邮箱
网站实时同步服务
数据备份方法:
定时任务备份数据: 内部人员备份数据 (备份数据最短周期一分钟)
实时同步备份数据: 外部人员备份数据(用户数据 没有等待时间)
实时同步备份原理
1. 监视存储服务器上指定目录 数据信息变化 inotify
2.利用同步传输数据软件 将变化数据传输 rsync 传输数据
3.实现实时传输数据 inotify+rsync 实时同步
image.png
数据监控软件 inotify
作用:监控目录中数据信息变化
第一个里程: 部署安装软件
yum install -y inotify-tools - - - 系统中epel源是否优化
/usr/bin/inotify - - -监控目录数据信息变化命令
第二个里程: 掌握inotifywait监控命令用法:
--exclude <pattern> - - -进行监控数据时,指定排除某目录/文件
--excludei <pattern>- - -进行监控数据时,指定哪些数据不区分大小写
-m,--monitor - - - 一直监控指定目录
-r,--recursive - - - 递归监控目录数据变化
--format - - - 定义输出信息格式
%w 监控目录路径信息
%f 监控触发事件数据信息
%e 监控被触发的事件
%T 定义触发事件时间信息(调用--timefmt所定义的事件格式)
--timefmt - - - 定义时间格式 "%F %T"
-q,--quiet - - - 将某些信息不要进行显示输出==2>/dev/unll
-e,--event - - - 指定监控的事件信息create,delete,move,close_write
定义输出格式和时间.png
inotify所有事件信息
access - - - 文件或目录内容被读取
modify - - - 文件或目录内容被写入
attrib - - - 文件或目录属性信息改变
close_write - - - 文件或目录被打开--写入--关闭
close_nowrite- - - 文件或目录被打开--没有写入--关闭
close - - - 文件或目录被关闭
open - - - 文件或目录被打开
moved_to - - - 文件或目录被移动到监控的目录中(拉取)
moved_from - - - 文件或目录被移动出监控目录(推送)
move - - - 监控目录中:文件或目录被移动
create - - - 监控目录中:文件或目录信息进行创建
delete - - - 监控目录中:文件或目录被删除
- inotifywait -mr /data --format "%T %w %f %e" --timefmt "%F %T" -e create,move,delete,close_write
- inotifywait -mrq /data --format "%w%f" -e create,delete,move,close_write 主要使用inotify监控数据变化命令 -- 实现数据变化实时同步
时间格式信息.png
事项实时同步数据过程
补充: 脚本循环用法: sleep脚本间隔时间
1. for 循环 for 变量 in 循环信息;do 操作命令;done(有限制循环)
2. while循环 while 条件表达式;do 操作命令;done(死循环 当条件为一时一直循环 真)
3. until循环 until 条件表达式;do 操作命令;done(死循环 当条件为零时一直循环 假)
方式一: 编写脚本实现
#!/bin/bash
#01.监控目录数据变化
inotifywait -mrq /data --format "%w%f" -e
create,delete,move,close_write|while rade line
#02.将变化数据进行传输
rsync -avz $line rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
问题:
1.如何让脚本文件始终运行?
nohup sh jiaoben.sh &
2.数据已经完成但脚本还在赋值运行?
cd /data && rsync -az -R "./oldboy02.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
cd /data && rsync -az -R --delete ./ --include="oldboy01.txt" --exclude=* rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
方式二: 利用软件
第一个里程:利用lrszs下载软件放入到linux
mkdir /server/tools -p
将软件保存在此目录中
unzip sersync_installdir_64bit.zip
cd /server/tools/sersync_installdir_64bit
第二个里程: 将解压好目录保存到指定目录中
mv sersync/ /usr/local/
第三个里程: 修改软件配置信息
vim conf/confxml.xml
# 定义 在同步传输数据时,哪些数据不要进行传输同步
6 <filter start="false">
7 <exclude expression="(.*).svn"></exclude>
8 <exclude expression="(.*).gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
# 定义监控事件信息
12 <inotify>
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="false"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
24 <localpath watch="/opt/tongbu">
25 <remote ip="127.0.0.1" name="tongbu1"/>
26
27
28 </localpath>
29 <rsync>
30 <commonParams params="-artuz"/>
31 <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
32 <userDefinedPort start="false" port="874"/>
image.png
第四个里程: sersync服务如何启动
export PATH=$PATH:/usr/local/sersync/bin/
cd /usr/local/sersync/bin/
chmod +x sersync
sersync -dro /usr/local/sersync/conf/confxml.xml
显示数据同步过程方法:
修改配置文件:
<debug start="true"/>
05. 课程知识点总结
1) 网站实时同步原理概念 1. 监控数据 2. 传输数据 3. 监控+传输
2) 掌握inotify监控软件使用方法
3) 掌握实现实时同步方法
a 利用脚本实现
循环方式 shell内置变量 $# $* 脚本如何在后台一直运行 nohup 脚本信息 &
b 利用软件实现
sersync软件
1) 软件部署过程 --- 二进制方式部署 解压
2) 编写软件配置 结合rsync传输数据命令
3) 如何启动服务 sersync命令参数
作业:
01. lsync实时同步软件 周五
02. 如何编写sersync启动脚本 sersyncd stop/start/restart
网友评论