美文网首页
day36 文件实时同步

day36 文件实时同步

作者: Linux_淡忘 | 来源:发表于2019-04-19 23:08 被阅读0次

备份服务方案( 利用实时复制方式,实现实时备份数据等重要信息)

image image

2.1、实时复制细节实现说明

 1)实时复制软件会监控文件系统的变化,比如:指定一个/data目录,实时复制服务软件进程会实时监控/data目录中数据的变化,即文件系统block和inode信息的变化
 2)一旦/data目录发生变化,就会执行rsync命令,将变化的数据信息推送到备份服务器相应的备份目录中,从而完成数据的实时备份

2.2、实时复制软件介绍

image

2.21实时复制inotify机制介绍

image

inotify优点和缺点

优点:监控文件系统事件变化,通过复制工具实现实时复制,支持多线程实时复制
缺点:实测并发如果大于200个文件(10-100k),复制就会有延迟

第一步、配置密码文件

echo "export RSYNC_PASSWORD=oldboy" >>/etc/bashrc
echo $RSYNC_PASSWORD
. /etc/bashrc
tail -1 /etc/bashrc

image

第二步、推送测试

rsync -avz /data rsync_backup@172.16.1.41::backup

image

第三步、显示这三个文件证明系统支持inotify

image image image

第四步、安装inotify软件

image image

inotify-tools工具主要命令

 在inotify部署完毕后,主要应用两个命令实现数据信息的监控,
 inotifywait命令实现对数据变化事件的监控
 (重点)inotifywait:在被监控的目录等待特定文件系统事件(open、close、delete等)发生,执行后处于阻塞状态,适合在shell脚本中使用
 inotifywatch命令实现对数据信息统计。
  inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统发生的次数统计。

inotifywait命令参数

image image image

第五步、测试实践

 inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e delete /data
 inotifywait -mrq --timefmt '%d%m%y %H:%M' --format '%T %w%f' -e create,delete,close_write /data

image image image image image image

第六步、定时任务

第一种方法(建议第一种)

image

第二种方法

image

测试定时任务

image image image

第七步、实现开机自启实时监控

image

第八步、inotify软件优化

image

2.22、sersync实时复制方案

image

第一步、推送测试

image

第二步、部署sersync服务

image image image image

第三步、sersync配置文件

1)完成监控配置
inotify -mrq --format "%w%f" -e close_write,delete,moveFrom,moveTo /data
2)完整命令拼接,推送给备份服务器
rsync -az /data --timeout=100 rsync_backup@::backup

image

第四步、启动服务

 二进制程序,不是yum安装的,所以不能systemctl start sersync

image image

第五步、设置开机自启

image image

相关文章

  • day36 文件实时同步

    备份服务方案( 利用实时复制方式,实现实时备份数据等重要信息) 2.1、实时复制细节实现说明 2.2、实时复制软件...

  • Linux sersync day35

    什么是实时同步为什么要实时同步实时同步的原理实时同步的场景实时同步工具选择实时同步案例演示 一、什么是实时同步 实...

  • linux文件实时同步

    参考博客:https://www.cnblogs.com/MacoLee/p/5633650.html 一、文件同...

  • 架构之美

    企业项目案例 共享存储实时备份的原理: inotify(实时同步工具) 异步文件系统事件监控机制,可以监控文件系统...

  • 备份服务之实时同步备份(sersync)

    实时同步备份方法1)利用脚本实现实时同步2)利用软件实现实时同步 实时同步备份原理 存储服务器 --...

  • rsync+inotify文件实时同步

    需求: 192.168.255.56:/opt目录下的文件变动,实时同步到192.168.255.57:/opt下...

  • lsyncd 实时文件同步

    lsyncd 封装了inotify和rsync lsyncdgithub地址: https://github.co...

  • 文件夹实时同步

    参考来源:http://www.ttlsa.com/web/let-infotify-rsync-fast/ 注意...

  • Jenkins “高可用方案探索”之实时同步

    实现方式 1.inotify+rsync 实时同步文件 (直接同步,后台运行,会降低jenkins应用性能)2.k...

  • 综合架构实时同步详解

    day35 综合架构实时同步 课程介绍: 1.实时同步原理概念2.实现实时同步方式3.实现实时同步方式1)利用脚本...

网友评论

      本文标题:day36 文件实时同步

      本文链接:https://www.haomeiwen.com/subject/qdyhgqtx.html