1. 需求说明
某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了数据就会丢失,现在领导要求把数据做备份,这样Web服务器数据丢失在可以进行恢复,要求如下:
每天晚上00点整在Web服务器A上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到服务器B上备份保留(备份思路可以是先在本地按日期打包,然后再推到备份服务器B上)。
已知3台服务器主机名分别为Web01、BACKUP、NFS01,主机信息建下表。
(1)备份要求
每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到备份服务器BACKUP上备份保留。
(2)备份思路
可以是先在本地按日期打包,然后再推送到备份服务器BACKUP上;NFS存储服务器和Web服务器在实际工作中就是运维主要管理的全部服务器。
2. 具体备份需求
1)所有服务器的备份目录必须都为/backup。
2)要备份的系统配置文件包括但不限于:
- 定时任务服务的配置文件(/var/spool/cron/root) (适合Web和NFS服务器)。
- 开机自启动的配置文件(/etc/rc.local) (适合Web和NFS服务器)。
- 日常脚本的目录 (/server/scripts)。
3)Web服务器站点目录假定为/var/html/www,如果没有,可以先模拟创建。
4)Web服务器访问日志路径假定为/app/logs,如果没有,可以先模拟创建。
5)Web服务器本地保留打包后的7天备份数据即可(本地留存不能多于7天,因为数据太多硬盘会满)。
6)备份服务器BACKUP上,保留最近7天所有备份数据,保留6个月内每周一的所有数据副本。
7)备份服务器上,要按照备份数据服务器内网IP为目录保存备份,备份的文件按照时间、名称保存。
8)需要确保备份的数据尽量完整准确,在备份服务器上对备份的数据是否完整进行检查。
9)备份服务器BACKUP上,每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。
3. 项目逻辑架构
全网备份架构逻辑图4. 项目实战部署
4.1 服务器创建
初始化3台服务器并将其作为全网备份方案测试服务器,3台服务器基本规划信息如下:
架构服务器基本信息表4.2 服务器部署
(1)搭建备份服务器
- rsync服务器搭建部署。
- 开发脚本实现校验、删除、报警。
- 配置实时任务每天6点实时执行。
(2)Web服务器搭建部署
- 验证Rsync服务能否推送成功。
- 开发脚本实现打包备份、推送、校验、删除。
- 配置定时任务每天0点定时推送(0时是时间的一个分割点)。
(3)NFS服务器搭建部署
- 验证Rsync服务能否推送成功。
- 开发脚本实现打包备份、推送、校验、删除。
- 配置定时任务每天0点定时推送(0时是时间的一个分隔点)。
提示:如果作为一个真实项目,还要设计项目文档的编写与文档中逻辑图与架构图的绘制;文档编写完成后,要交由领导进行审核,只有通过了才能真正在生产
环境中进行实施;并且关键时刻要和项目负责人进行沟通汇报工作进度,关键点请项目负责人进行审核。
第一个里程碑:在BACKUP上部署Rsync服务
在BACKUP Server上部署Rsync服务(前面有讲,这里忽略),并且在Web01和NFS01客户端服务器测试推送成功。
第二个里程碑:客户端本地开发打脚本
Nginx webserver,NFS dataserver本地打包备份脚本实现。
1)Web01服务器待备份信息。
- /var/spool/cron/root、/etc/rc.local、/server/scripts
- /var/html/www、/app/logs
2)NFS01服务器待备份信息
Rsync客户端(Nginx NFS)上进行信息备份压缩脚本编写
进行备份压缩脚本编写前,需要进行Web站点目录与日志目录的创建(在192.168.9.7上执行),以及创建模拟数据。
[root@web01 ~]# mkdir /var/html/www -p
touch /var/html/www/{1..3}.txt
[root@web01 ~]# mkdir /app/logs -p
[root@web01 ~]# touch /app/logs/{a..c}.log
[root@web01 ~]# tree /var/html/www/
/var/html/www/
├── 1.txt
├── 2.txt
└── 3.txt
0 directories, 3 files
[root@web01 ~]# tree /app/logs/
/app/logs/
├── a.log
├── b.log
└── c.log
0 directories, 3 files
Web站点目录与日志目录创建完毕后,开始编写脚本信息(脚本编写信息需要在命令行测试成功后再放入脚本文件中)。
[root@localhost ~]# cd /server/scripts/
[root@localhost scripts]# vim backup.sh
#!/bin/bash
Date=$(date +%F_Week0%w) ---定义时间方式
Host_IP=$(hostname -I) ---可以有多种方法,能获取IP即可
Backup_Dir="/backup/" ---本地备份路径
Backup_Server_IP=192.168.9.5 ---备份服务器的IP
[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP ---创建指定目录和IP的目录
# 按要求打包备份所有本地重要文件
cd / &&\
tar cf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz var/spool/cron/root &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf $Backup_Dir/$Host_IP/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar zcf $Backup_Dir/$Host_IP/www_${Date}_tar.gz var/html/www/ &&\
tar zcf $Backup_Dir/$Host_IP/app_logs_${Date}_tar.gz app/logs/ &&\
# 提示:在NFS服务器客户端上不用编写压缩Web服务器的程序与日志目录
# 给所有备份的压缩文件建立指纹,放入指纹库flag,后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag
# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync_backup@${Backup_Server_IP}::backup --password-file=/etc/rsync.password
# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f
第三个里程碑:配置定时任务
1)编辑定时任务,实现每天00:00定时备份本地数据,并推送到备份数据Rsync服务器上。
[root@web01 scripts]# crontab -e ---编辑定时任务,添加如下内容
#crond-od-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1
2)编辑服务端删除文件脚本文件,删除180天前的所有备份数据,但保存每周一的。
[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh
#!/bin/bash
Backup_Dir="/backup/"
#删除7天前的压缩包和flag文件,但是每周一的不删
find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*"
-mtime +7|xargs rm -f
#删除180天前的所有压缩包和flag文件
find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f
3)配置定时任务,实现服务端180天前数据自动删除。
[root@backup scripts]# crontab -e
#crond-id-002:data backup by oldboy
00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1
第四个里程碑:数据传输完整性验证与监控告警
服务端针对客户端备份时的md5指纹数据,利用MD5命令进行验证,完成数据传输过程完整性验证。
[root@backup scripts]# vim send_mail.sh
#!/bin/bash
Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)" ---定时检查备份结果的文件
Admin_Mail=xxxx@163.com ---管理员邮箱,建议使用163
find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >>$Check_Log
if [ -n "cat $Check_Log" ]
then
mail -s "$Date backup data info" $Admin_Mail <$Check_Log
else
echo "$Date backup data error,pls check it." >$Check_Log ---如果结果文件不存在,日志信息变化,报错
mail -s "$Date backup data info" $Admin_Mail <$Check_Log
fi
cp $Check_Log{,.ori} && >$Check_Log
第五个里程碑:配置mail使用外部SMTP发邮件
安装mailx
yum install -y mailx
编辑/etc/mail.rc配置文件
vim /etc/mail.rc ---在最后一行加入如下内容
set from=xxxx@163.com smtp.163.com smtp-auth-user=xxxx smtp-auth-password=yyyy smtp-auth=login
各命令参数的含义说明如下:
- from 是服务器外发邮件的邮件地址,通过注册163邮箱获得。
- smtp 是发生的外部SMTP服务器的地址,需要使用相应的SMTP地址。
- smtp-auth-user 是外部SMTP服务器认证的用户名,注册时的用户名。
- smtp-auth-password 是外部SMTP服务器认证的用户密码(注意是授权码)。
- smtp-auth 是邮件认证方式。
配置成功后,测试一下。
[root@localhost ~]# echo "I am oldboy training" >/tmp/content.txt
[root@localhost ~]# mail -s "test" xxxx@qq.com </tmp/content.txt
image.png
至此,全网备份方案完成。
网友评论