Day32-rsync复制软件应用与实践

1、什么是rsync?
rsync，Rsync英文全称为Remote synchronization 缩写rsync
是开源、高速的、可实现本地以及远程，全量以及增量的数据复制（拷贝）工具。

官方链接资料：http://www.samba.org/ftp/rsync/rsync.html
2.全量和增量的区别
全量：将全部数据，进行传输覆盖
增量：只传输差异部分的数据
3、rsync的作用
工作中需要定时/实时数据备份。本地服务器目录、不同机器、
不同机房之间的数据备份。都可以用rsync完成。
4、rsync功能特性
 支持拷贝普通文件与特殊文件，如链接文件，设备文件等。
 支持排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。
 可实现增量复制，既只复制发生变化的数据，因此数据传输效率很高。
 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）。
 可以通过socket(进程方式)传输文件和数据（服务端和客户端）*。
 支持匿名或认证（无需系统用户）进程模式传输，安全的进行数据备份及镜像
5.增量复制的原理
Rsync通过其独特的“quick check”算法，实现增量传输数据

[root@backup ~]#man rsync
Rsync  finds  files  that  need  to  be transferred using a “quick check” algorithm (by default)  that  looks  for  files  that  have changed  in  size  or  in  last-modified time.  Any changes in the other preserved attributes (as requested by options) are  made  on the  destination file directly when the quick check indicates that the file’s data does not need to be updated.

在同步备份数据时，默认情况下，Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
rsync软件功能介绍

类似于 cp 命令 -- 实现本地备份传输数据

类似于scp 命令 -- 远程备份传输数据

类似于 rm 命令 -- 实现无差异同步备份

类似于 ls 命令 -- 本地文件信息查看

rsync三种工作模式：

 本地数据同步方式
       Local:  rsync [OPTION...] SRC... [DEST]
        远程数据同步方式
       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
        守护进程方式同步数据
       Access via rsync daemon:
         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

a.拷贝实践

[root@backup ~]# ls /opt
[root@backup ~]# rsync /etc/hosts /opt
[root@backup ~]# ls /opt
hosts
[root@backup ~]# \cp /etc/hosts /opt

保持属性：
[root@backup ~]# rsync -zrtopg /etc/hosts /opt/
[root@backup ~]# ls -lhi /etc/hosts /opt/hosts
16829878 -rw-r--r--. 1 root root 332 4月  12 11:24 /etc/hosts
   71373 -rw-r--r--  1 root root 332 4月  12 11:24 /opt/hosts

b.删除实践

删除文件内容：
[root@backup ~]# touch /null.txt #空文件
[root@backup ~]# cat /opt/hosts 
127.0.0.1    localhost localhost.localdomain localhost4 localhost4.localdomain4
::1          localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.5 lb01
172.16.1.6 lb02
172.16.1.7 web01
172.16.1.8 web02
172.16.1.9 web03
172.16.1.31 nfs01
172.16.1.41 backup
172.16.1.51 db01 db01.etiantian.org
172.16.1.61 m01

[root@backup ~]# rsync --delete /null.txt /opt/hosts  #让前面null.txt和后面hosts一样
rsync: --delete does not work without --recursive (-r) or --dirs (-d).
rsync error: syntax or usage error (code 1) at main.c(1567) [client=3.1.2]
[root@backup ~]# rsync -r --delete /null.txt /opt/hosts
[root@backup ~]# cat /opt/hosts 

删除目录下所有文件：
[root@backup ~]# mkdir /null
[root@backup ~]# rsync -r --delete /null/ /opt/       #让后面opt和前面null目录内容保持一致
[root@backup ~]# ls /opt/
c.查看属性
[root@backup ~]# rsync /etc/hosts
-rw-r--r--            332 2019/04/12 11:24:41 hosts

远程shell模式
借助类似ssh隧道传输数据，适合不同的机器之间复制。
异地拷贝，相当于scp，区别scp是远程全量拷贝

push实践

[root@nfs01 ~]# rsync -avz /etc/hosts root@172.16.1.41:/opt/ #加密传输。
The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.
ECDSA key fingerprint is SHA256:qZSBkrmOv7xO/63qOU1uLXkPyNVHdkqvrNAcAmXqNEk.
ECDSA key fingerprint is MD5:23:d0:cb:a9:f4:7c:0b:eb:2d:07:00:e1:a3:12:d8:33.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.
root@172.16.1.41's password: 
sending incremental file list
hosts

sent 219 bytes  received 35 bytes  14.51 bytes/sec
total size is 332  speedup is 1.31

检查：
[root@backup ~]# cd /opt/
[root@backup /opt]# ls
hosts

rsync -avz /etc/hosts root@172.16.1.41:/opt/
rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
上述命令是等价的。-e 指定通道  ssh ssh服务连接客户端  -p 22指定22端口。

[root@nfs01 ~]# rsync -avz /etc/hosts -e "ssh -p 22" root@172.16.1.41:/opt/
root@172.16.1.41's password: 
sending incremental file list

sent 44 bytes  received 12 bytes  22.40 bytes/sec
total size is 332  speedup is 5.93

拉的命令：
rsync -avz root@172.16.1.41:/opt/hosts /opt
rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt

守护进程模式：

rsync命令参数：
-v, --verbose  显示输出过程
-z, --compress 压缩
-a, --archive  多参数集合(-rtopgDl)
-r, --recursive 递归
-t, --times    保持修改时间属性
-o, --owner    保持属主不变
-p, --perms    保持权限不变
-g, --group    保持用户组不变
-l, --links    保持拷贝软连接
-q, --quiet    安静的拷贝
--bwlimit=KBPS 限制I/O带宽，KBytes per second。
--delete       删除
--exclude      排除
--exclude-from 从文件中排除

企业常用参数组合：-avz或者-vzrtopg

---以下操作都是在backup服务器

1）安装
[root@backup ~]# rsync --version
rsync  version 3.1.2  protocol version 31
[root@backup ~]# yum install rsync（不需要）
2）配置配置文件/etc/rsyncd.conf
备份
cp /etc/rsyncd.conf{,.ori}
cat>/etc/rsyncd.conf<<EOF
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync
gid = rsync
use chroot = no
fake super = yes
max connections = 200
timeout = 600 
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = welcome to oldboyedu backup!
path = /backup/
EOF

man rsync 查命令的参数
man rsyncd.conf 查配置参数
https://www.samba.org/ftp/rsync/rsync.html
创建用户和备份目录
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/
3）启动和检查
rsync --daemon（c6及以前）
systemctl start rsyncd
systemctl enable rsyncd
systemctl status rsyncd

[root@backup ~]# ps -ef|grep sync|grep -v grep  #检查进程
root       7521      1  0 11:39 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep 873 #检查端口
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      7521/rsync          
tcp6       0      0 :::873                  :::*                    LISTEN      7521/rsync 
         
[root@backup ~]# lsof -i :873 #检查端口
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   7521 root    3u  IPv4  41439      0t0  TCP *:rsync (LISTEN)
rsync   7521 root    5u  IPv6  41440      0t0  TCP *:rsync (LISTEN)
4）配置密码文件
[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@backup ~]# ls -l /etc/rsync.password
-rw------- 1 root root 20 4月  15 11:51 /etc/rsync.password

rsync服务端配置完成。

---以下操作都是在客户端

以下方法2选1
方法1：认证密码文件
[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月  15 11:55 /etc/rsync.password

方法2：
[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc 
[root@nfs01 ~]# tail -1 /etc/bashrc 
 export RSYNC_PASSWORD=oldboy
[root@nfs01 ~]# . /etc/bashrc 
[root@nfs01 ~]# echo $RSYNC_PASSWORD
oldboy
rsync客户端 nfs01 配置完成

守护进程模式，客户端rsync命令语法：

配置服务器端守护进程，实现数据传输：

1、服务器端守护进程。2、客户端执行命令。
拉门、推门 思考：

pull,拉：从远端拉取到本地。
语法1（常用）：
rsync       [OPTION...] [USER@]HOST::SRC...                  [DEST]
rsync命令 参数选项    [虚拟用户]@[主机地址]::[模块名]         本地路径

语法2:
rsync       [OPTION...] rsync://[USER@]HOST::SRC...               [DEST]
rsync命令 参数选项    rsync://[虚拟用户]@[主机地址]/[模块名]  本地路径

push,推：从本地推到远端。
语法1（常用）：                 
rsync       [OPTION...]   [DEST]        [USER@]HOST::SRC...                  
rsync命令 参数选项      本地路径      [虚拟用户]@[主机地址]::[模块名]         

语法2:                    
rsync       [OPTION...]    [DEST]       rsync://[USER@]HOST::SRC...              
rsync命令 参数选项      本地路径      rsync://[虚拟用户]@[主机地址]/[模块名]

测试成果

错误1：
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
@ERROR: invalid uid rsync
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
解答：
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 4月  15 12:12 /backup/

错误2：
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts
rsync: chgrp ".hosts.YDuTjO" (in backup) failed: Operation not permitted (1)

sent 223 bytes  received 124 bytes  694.00 bytes/sec
total size is 332  speedup is 0.96
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
解答：增加如下参数到/etc/rsyncd.conf
fake  super  = yes #不用root用户也可以存储文件的完整属性。
This allows the full attributes of a file to  be  stored  without having to have the daemon actually running as root.
[root@backup ~]# grep fake /etc/rsyncd.conf
fake super = yes

改完配置，要重启服务：
[root@backup ~]# systemctl restart rsyncd

在测试：成功
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts

sent 89 bytes  received 49 bytes  276.00 bytes/sec
total size is 332  speedup is 2.41

rsync -avz /etc rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

服务端检查：
[root@backup ~]# ls /backup/
hosts
[root@backup ~]# ls /backup/
etc  hosts

如果客户端按照环境变量的方式配置，则可以忽略--password-file=/etc/rsync.password参数。
[root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
sending incremental file list

sent 52,071 bytes  received 644 bytes  105,430.00 bytes/sec
total size is 31,244,350  speedup is 592.70

测试增量
[root@nfs01 ~]# touch /etc/oldboy.txt
[root@nfs01 ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
sending incremental file list
etc/oldboy.txt

sent 52,098 bytes  received 655 bytes  105,506.00 bytes/sec
total size is 31,244,350  speedup is 592.28
第二种推的语法
[root@nfs01 ~]# rsync -avz /etc rsync://rsync_backup@172.16.1.41/backup
sending incremental file list

sent 52,070 bytes  received 644 bytes  105,428.00 bytes/sec
total size is 31,244,350  speedup is 592.71