美文网首页
2020-02-29 Rsync企业级全网备份项目案例实践

2020-02-29 Rsync企业级全网备份项目案例实践

作者: 阿丧小威 | 来源:发表于2020-02-29 17:02 被阅读0次

1. 需求说明

某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了数据就会丢失,现在领导要求把数据做备份,这样Web服务器数据丢失在可以进行恢复,要求如下:
每天晚上00点整在Web服务器A上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到服务器B上备份保留(备份思路可以是先在本地按日期打包,然后再推到备份服务器B上)。
已知3台服务器主机名分别为Web01、BACKUP、NFS01,主机信息建下表。

全网备份主机信息表

(1)备份要求
每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到备份服务器BACKUP上备份保留。
(2)备份思路
可以是先在本地按日期打包,然后再推送到备份服务器BACKUP上;NFS存储服务器和Web服务器在实际工作中就是运维主要管理的全部服务器。

2. 具体备份需求

1)所有服务器的备份目录必须都为/backup。
2)要备份的系统配置文件包括但不限于:

  • 定时任务服务的配置文件(/var/spool/cron/root) (适合Web和NFS服务器)。
  • 开机自启动的配置文件(/etc/rc.local) (适合Web和NFS服务器)。
  • 日常脚本的目录 (/server/scripts)。

3)Web服务器站点目录假定为/var/html/www,如果没有,可以先模拟创建。
4)Web服务器访问日志路径假定为/app/logs,如果没有,可以先模拟创建。
5)Web服务器本地保留打包后的7天备份数据即可(本地留存不能多于7天,因为数据太多硬盘会满)。
6)备份服务器BACKUP上,保留最近7天所有备份数据,保留6个月内每周一的所有数据副本。
7)备份服务器上,要按照备份数据服务器内网IP为目录保存备份,备份的文件按照时间、名称保存。
8)需要确保备份的数据尽量完整准确,在备份服务器上对备份的数据是否完整进行检查。
9)备份服务器BACKUP上,每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器备份信息汇总表

3. 项目逻辑架构

全网备份架构逻辑图

4. 项目实战部署

4.1 服务器创建

初始化3台服务器并将其作为全网备份方案测试服务器,3台服务器基本规划信息如下:

架构服务器基本信息表

4.2 服务器部署

(1)搭建备份服务器

  • rsync服务器搭建部署。
  • 开发脚本实现校验、删除、报警。
  • 配置实时任务每天6点实时执行。

(2)Web服务器搭建部署

  • 验证Rsync服务能否推送成功。
  • 开发脚本实现打包备份、推送、校验、删除。
  • 配置定时任务每天0点定时推送(0时是时间的一个分割点)。

(3)NFS服务器搭建部署

  • 验证Rsync服务能否推送成功。
  • 开发脚本实现打包备份、推送、校验、删除。
  • 配置定时任务每天0点定时推送(0时是时间的一个分隔点)。
提示:如果作为一个真实项目,还要设计项目文档的编写与文档中逻辑图与架构图的绘制;文档编写完成后,要交由领导进行审核,只有通过了才能真正在生产
环境中进行实施;并且关键时刻要和项目负责人进行沟通汇报工作进度,关键点请项目负责人进行审核。

第一个里程碑:在BACKUP上部署Rsync服务
在BACKUP Server上部署Rsync服务(前面有讲,这里忽略),并且在Web01和NFS01客户端服务器测试推送成功。
第二个里程碑:客户端本地开发打脚本
Nginx webserver,NFS dataserver本地打包备份脚本实现。
1)Web01服务器待备份信息。

  • /var/spool/cron/root、/etc/rc.local、/server/scripts
  • /var/html/www、/app/logs
    2)NFS01服务器待备份信息
    Rsync客户端(Nginx NFS)上进行信息备份压缩脚本编写
    进行备份压缩脚本编写前,需要进行Web站点目录与日志目录的创建(在192.168.9.7上执行),以及创建模拟数据。
[root@web01 ~]# mkdir /var/html/www -p
touch /var/html/www/{1..3}.txt
[root@web01 ~]# mkdir /app/logs -p
[root@web01 ~]# touch /app/logs/{a..c}.log
[root@web01 ~]# tree /var/html/www/
/var/html/www/
├── 1.txt
├── 2.txt
└── 3.txt
0 directories, 3 files
[root@web01 ~]# tree /app/logs/
/app/logs/
├── a.log
├── b.log
└── c.log
0 directories, 3 files

Web站点目录与日志目录创建完毕后,开始编写脚本信息(脚本编写信息需要在命令行测试成功后再放入脚本文件中)。

[root@localhost ~]# cd /server/scripts/
[root@localhost scripts]# vim backup.sh
#!/bin/bash
Date=$(date +%F_Week0%w)    ---定义时间方式
Host_IP=$(hostname -I)    ---可以有多种方法,能获取IP即可
Backup_Dir="/backup/"    ---本地备份路径
Backup_Server_IP=192.168.9.5    ---备份服务器的IP

[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP    ---创建指定目录和IP的目录

# 按要求打包备份所有本地重要文件
cd / &&\
tar cf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz var/spool/cron/root &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar zcf $Backup_Dir/$Host_IP/www_${Date}_tar.gz var/html/www/ &&\
tar zcf $Backup_Dir/$Host_IP/app_logs_${Date}_tar.gz app/logs/ &&\
# 提示:在NFS服务器客户端上不用编写压缩Web服务器的程序与日志目录

# 给所有备份的压缩文件建立指纹,放入指纹库flag,后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync_backup@${Backup_Server_IP}::backup --password-file=/etc/rsync.password

# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

第三个里程碑:配置定时任务
1)编辑定时任务,实现每天00:00定时备份本地数据,并推送到备份数据Rsync服务器上。

[root@web01 scripts]# crontab -e    ---编辑定时任务,添加如下内容
#crond-od-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1

2)编辑服务端删除文件脚本文件,删除180天前的所有备份数据,但保存每周一的。

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh
#!/bin/bash
Backup_Dir="/backup/"
#删除7天前的压缩包和flag文件,但是每周一的不删
find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*"
-mtime +7|xargs rm -f
#删除180天前的所有压缩包和flag文件
find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f

3)配置定时任务,实现服务端180天前数据自动删除。

[root@backup scripts]# crontab -e
#crond-id-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

第四个里程碑:数据传输完整性验证与监控告警
服务端针对客户端备份时的md5指纹数据,利用MD5命令进行验证,完成数据传输过程完整性验证。

[root@backup scripts]# vim send_mail.sh
#!/bin/bash
Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)"    ---定时检查备份结果的文件
Admin_Mail=xxxx@163.com    ---管理员邮箱,建议使用163

find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >>$Check_Log


if [ -n "cat $Check_Log" ]
then
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
else
    echo "$Date backup data error,pls check it." >$Check_Log    ---如果结果文件不存在,日志信息变化,报错
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
fi
cp $Check_Log{,.ori} && >$Check_Log

第五个里程碑:配置mail使用外部SMTP发邮件
安装mailx

yum install -y mailx

编辑/etc/mail.rc配置文件

vim /etc/mail.rc    ---在最后一行加入如下内容
set from=xxxx@163.com smtp.163.com smtp-auth-user=xxxx smtp-auth-password=yyyy smtp-auth=login

各命令参数的含义说明如下:

  • from 是服务器外发邮件的邮件地址,通过注册163邮箱获得。
  • smtp 是发生的外部SMTP服务器的地址,需要使用相应的SMTP地址。
  • smtp-auth-user 是外部SMTP服务器认证的用户名,注册时的用户名。
  • smtp-auth-password 是外部SMTP服务器认证的用户密码(注意是授权码)。
  • smtp-auth 是邮件认证方式。

配置成功后,测试一下。

[root@localhost ~]# echo "I am oldboy training" >/tmp/content.txt
[root@localhost ~]# mail -s "test" xxxx@qq.com </tmp/content.txt 
image.png

至此,全网备份方案完成。

相关文章

  • 2020-02-29 Rsync企业级全网备份项目案例实践

    1. 需求说明 某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了数据就会丢失,现在领导要求把数据做备...

  • Rsync全网备份项目

    目标 把每台重要的数据、配置及脚本备份到本地、远程存储。 本地数据保留7天备份数据 本地备份文件推送到备份服务器上...

  • rsync小型全网备份项目

    1.项目需求说明 某公司里有一台 web 服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求把...

  • 2019-08-14 综合架构存储服务

    day 32 综合架构存储服务章节 课程介绍: 1. rsync备份服务常见异常问题2. rsync备份服务全网备...

  • rsync 备份总结+全网备份项目_1

    把客户端中的文件备份到目标目标服务端 需要备份的目录后面有 / 只把目录中的文件进行备份 需要备份的目录后面没有...

  • rsync全网备份服务

    一、 需求 每天晚上12点整在Web服务器A(web01 )上打包备份网站程序目录并通过rsync命令推送到服务器...

  • day36-rsync全网备份项目

    企业案例 某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其他...

  • 36-综合架构-rsync全网备份

    企业实战项目:rsync全网备份的过程 image 某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了...

  • 2019-08-19 实时数据同步

    全网备份遗留 备份客户机没有发送数据,如何让运维人员知道? 1 .备份客户机,判断rsync是否执行成功,用来判断...

  • Rsync 企业级备份及 NFS 存储详解

    Rsync 企业级备份及 NFS 存储详解 第1章 Rysnc 企业级服务搭建要求:客户端需求1.客户端每天凌晨 ...

网友评论

      本文标题:2020-02-29 Rsync企业级全网备份项目案例实践

      本文链接:https://www.haomeiwen.com/subject/emllhhtx.html