美文网首页
目录之间数据同步的最简单办法

目录之间数据同步的最简单办法

作者: zwsuo | 来源:发表于2016-12-13 01:07 被阅读0次

    【lsyncd 工具介绍】

    如果想自动同步两个目录下的所有文件,让两个或多个目录保持数据完全一致,大多数情况下就需要使用 inotify-tools 加上 rsync 配合来完成,inotify-tools 根据 Linux 内核对文件的监听所得到的反馈结果进行触发某些操作, rsync 负责进行数据传输。

    或者使用 sersync 等工具来完成, sersync 其实就是 inoify + rsync 二者的合体。

    上面的过程想要完成,就需要自己写脚本来实现业务需要,甭管是什么语言,或者是编辑配置文件,改一堆的参数。

    那么有没有简单易行的方法来完成这些操作呢?必须有啊,要不就不会写这一篇文章了。所以今天就给大家介绍一个非常方便的工具,它叫 lsyncd

    上面提到的“两个目录”有几种情况:

    1. 两个目录处于同一台服务器上
      • 两个目录在同一分区;
      • 两个目录在同一机器的不同分区;
    2. 两个目录分处于两台不同的服务器
      • A 和 B 都没有安装和启动 rsync 服务;
      • A/B 其中一台机器上启动了 rsync 服务;
    3. 其他情形

    把这几种情况都列出来是想说,对于今天所介绍的 lsyncd 这个工具来说,无论什么情况,都能轻松应对,我们要做的就是好好用它,而不用再想着这种情况应该怎么搞,那种情况又该怎么弄。


    下面就来说这个过程,实在太简便了:

    1. 安装 epel,因为我们要的 lsyncd 就藏在里面。

      wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
      
    2. 安装 lsyncd

      yum install lsyncd -y
      
    3. 修改配置文件

      [root@xxxxxxxx ~]# cat /etc/lsyncd.conf_bak
      
      sync{
          default.rsync,
          source = "/application",
          target = "/application1",
          delete = true,
          exclude={ "lost+found" },
          rsync = {
              compress = true,
              verbose = true,
              archive  = true,
          }
      }
      
    4. 设置 lsyncd 服务自启动并顺手 start 一下

      systemctl enable lsyncd && systemctl start lsyncd
      
    5. 完成了。


    我说了,今天上面介绍的最简单的数据同步的实现方法,其实每一个动作都有很多种方法实现,比如:

    Q1. 安装过程最简单是用 yum 进行安装,如果没有 yum 呢?或者你的服务器无法连接互联网呢?
    A1. 那就还可以先从别的途径下载源码编译安装,或者下载相应的 .rpm 包进行安装。

        git clone https://github.com/axkibe/lsyncd.git
        cd lsncd
        cmake -DCMAKE_INSTALL_PREFIX=/app/lsyncd
        make
        make install
    

    Q2. 这个工具都有什么样的功能,可以完成哪些工作呢?
    A2. 看A1链接中的官方文档或者自行 google,下面是一个很简单的配置文件的例子说明:

    #cat /etc/lsyncd.conf
    
    settings {
    logfile ="/var/log/lsyncd/lsyncd.log",
     statusFile ="/var/run/lsyncd.status",
     pidfile = "/var/run/lsyncd.pid",
     delay = 0,
    
    }
    
    sync {
     default.rsyncssh,
     source = "/source/path",
     host = "172.16.1.2",
     targetdir = "/target/path",
     --excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync = {
     binary = "/usr/bin/rsync",
     archive = true,
     compress = true,
     verbose = true,
     },
     ssh = {
     port = 22
      }
    }
    

    其实里面还有很多很多参数可以进行设置,就看自己需要了,我想绝大多数的需求都是能够满足的,比如下面这些参数都是可以根据自己的需求进行设置的,就不一一说了,今天主要是告诉大家有这么个工具可以用。

    default.rsync
    default.rsyncssh
    default.direct
    init
    inotifyMode 
    maxProcesses
    statusInterval
    maxDelays
    ......
    

    最后提醒一点,inotify-tools 也好, lsyncd 也好,其实都是根据 linux 的 kernel 特性对增、删、改等事件进行监控的,所以,kernel 的一个参数就很重要了,就是下面这个:

    #cat /proc/sys/fs/inotify/max_user_watches
    8192
    

    8192 就是系统的默认值,代表能同一个用户所能监控的目录(不是文件)的数量,在目录较深或者子目录非常多的时候,这个值明显就不够用了,不够用的结果就是会监控的过程中会丢事件,导致新增或者修改的文件都捕捉不到,所以我们可以适当改大一些。

    可以直接修改,但重启机器后会失效:
    #sysctl -w fs.inotify.max_user_watches="99999999“
    
    也可以修改内核参数,使之永久生效:
    #echo "fs.inotify.max_user_watches=99999999" >> /etc/sysctl.conf 
    #sysctl -p
    
    

    99999999 这个数字不必非得是65535,但也别无限大,因为你不给它喘息的机会,让它玩命地监控,它消耗的系统资源也就会相应增加,同步的延时也会增大,在实时性要求比较高的时候就不太符合要求了。


    我叫索雷锋,不谢!

    相关文章

      网友评论

          本文标题:目录之间数据同步的最简单办法

          本文链接:https://www.haomeiwen.com/subject/nuyvmttx.html