第一章、思想

image.png
image.png image.png
image.png
image.png
image.png
image.png
image.png

第二章、中小规模集群架构

image.png
image.png

第三章、rsync复制软件应用与实践

3.1、什么是rsync?

是开源的、高速的、全量以及增量的数据复制（拷贝）工具

image.png

3.2、全量和增量的区别

image.png

3.3、rsync的作用？

工作中需要定时/实时数据备份。本地服务器目录、不同机器、不同机房之间的数据备份，都可以rsync完成

3.4、rsync功能特性

 支持拷贝普通文件与特殊文件，如链接文件，设备文件等
 支持排除指定文件或目录同步的功能，相当于打包命令tar的排除功能
 可以做到保持原文件或目录的权限、时间、软硬连接、属主、组等所有属性均不改变
 可实现增量复制，即复制只发生变化的数据，因此数据传输效率很高
 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）
可以通过socket（进程方式）传输文件和数据（服务端和客户端）
支持匿名或认证(无需系统用户）进程模式传输，安全的进行数据备份及镜像

3.5、增量复制的原理

使用quick  check算法，支队增量的部分复制，根据大小属性的变化进行复制
2.x比对差异后复制
3.x一边比对一边复制，比rsync2.x有优势

3.6、rsync三种工作模式

1）本地（local)

        rsync就是一个命令
  rsync         [OPTION...]       SRC...        [DEST]
rsync命令        参数选项      [源目录或文件]   目的目录或文件
     命令操作：rsync命令
     a.把数据从一个地方复制到另一个地方（仅在一台机器增量），相当于cp
     b.通过加参数实现删除的功能，相当于rm命令
     c.查看文件属性，相当于ls

rsync拷贝实践

image.png

rsync删除实践

image.png

删除目录实践

null和null/区别
   null是目录和目录下的内容
   null/只是目录下的内容，不含本身

image.png

rsync查看属性

image.png

2）远程shell模式

 借助类似ssh隧道传输数据，适合不同的机器之间复制
 异地拷贝是指
 Pull ，拉：从远端拉取到本地
   rsync         [OPTION...]    [USER@]HOST:SRC...                [DEST]
   rsync命令     参数选项     [认证用户]@[主机地址]:[源路径]         本地路径
 Push，推：从本地推到远端
   rsync        [OPTION...]   SRC...     [USER@]HOST:[DEST]        
   rsync命令  参数选项        本地路径 [认证用户]@[主机地址]:[目标路径]
推拉：
    a.参照物，执行命令的机器
    b.root@172.16.1.41使用的用户和主机，就用主机和用户和密码

image.png
image.png
image.png
image.png

3）rsync守护进程模式（重点模式）

首先要搭建服务端（要有守护进程），然后才能在客户端实现推拉语法
rsync服务模式：*****开启后台进程，接受别人的访问

3.7、rsync命令参数

 man rsync查rsync命令
 man rsync.conf查配置参数
 rsync命令参数：
    -v, --verbose  显示输出过程
    -z, --compress 压缩
    -a, --archive  多参数集合(-rtopgDl)
    -r, --recursive 递归
    -t, --times    保持修改时间属性
    -o, --owner    保持属主不变
    -p, --perms    保持权限不变
    -g, --group    保持用户组不变
    -l, --links    保持拷贝软连接
    -q, --quiet    安静的拷贝
    --bwlimit=KBPS 限制I/O带宽，KBytes per second。
    --delete       删除
    --exclude      排除
    --exclude-from 从文件中排除
企业常用参数组合：-avz或者-vzrtopg

image.png

3.8、守护进程模式应用实践

3.81、服务端配置

1）安装

11.png

2）配置 配置文件/etc/rsyncd.conf

cp /etc/rsyncd.conf{,.ori}
cat>/etc/rsyncd.conf<<EOF
   #rsync_config_______________start
   #created by oldboy
   #site: http://www.oldboyedu.com
   uid = rsync
   gid = rsync
   use chroot = no
   max connections = 200
   timeout = 600 
   pid file = /var/run/rsyncd.pid
   lock file = /var/run/rsync.lock
   log file = /var/log/rsyncd.log
   ignore errors
   read only = false
   list = false
   hosts allow = 172.16.1.0/24
   hosts deny = 0.0.0.0/32
   auth users = rsync_backup
   secrets file = /etc/rsync.password
   [backup]
   comment = welcome to oldboyedu backup!
   path = /backup/
   EOF

image.png
image.png

3）启动和检查

image.png image.png

4)配置密码文件

image.png

3.82、客户端服务操作

1）认证密码文件

image.png image.png

3.83、守护进程模式，客户端rsync 的命令语法

配置服务器守护进程，实现数据传输
服务端守护进程。
客户端执行命令

pull,拉：从远端拉取到本地。

     语法1（常用）：
    rsync       [OPTION...]    [USER@]HOST::SRC...                   [DEST]
   rsync命令      参数选项    [虚拟用户]@[主机地址]::[模块名]         本地路径
      语法2:
    rsync       [OPTION...]       rsync://[USER@]HOST::SRC...                 [DEST]
   rsync命令     参数选项     rsync://[虚拟用户]@[主机地址]/[模块名]           本地路径

push,推：从本地推到远端

语法1（常用）：                 
rsync       [OPTION...]    [DEST]        [USER@]HOST::SRC...                     
rsync命令    参数选项       本地路径      [虚拟用户]@[主机地址]::[模块名]         

语法2:                    
rsync     [OPTION...]      [DEST]       rsync://[USER@]HOST::SRC...              
rsync命令 参数选项      本地路径      rsync://[虚拟用户]@[主机地址]/[模块名]  

3.84、测试成果

客户端向服务端backup推送有变化的数据

image.png

如果客户端按照环境变量的方式配置，则可以忽略--password-file=/etc/rsync.password参数。

image.png

客户端把服务端backup有变化的数据备份到/opt下

image.png

配置客户端web01

image.png

第一种报错

image.png

第二种报错

image.png

第三种报错

image.png image.png