美文网首页我用 LinuxLinuxLinux 相关文章
Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backu

Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backu

作者: 淀粉月刊 | 来源:发表于2018-06-23 17:32 被阅读4次

    目前市面上普遍采用的VPS网站备份方式用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。但由于存储在网盘,存在较大的容量限制,另外也存在上传下载的限速问题。今天居正,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本和七牛qshell工具。

    关于站点备份的二三事相信各位站长也没少折腾过,目前市面上普遍采用的方式大体有两种,一种是用多备份这样的第三方服务,另一种则是利用脚本定时打包网站数据及数据库后上传到Dropbox、Google Drive之类的云端硬盘。两种方案都可以完全做到免费,但后者由于存储在网盘,存在容量限制(百度云虽然容量大,但拿来当备份也比较少见,因为我们购买的VPS一般都是国外主机,没有速度优势。另外也存在上传下载的限速问题)。今天居正针对第二种方案,给出两套服务尽可能完美的解决站点备份的问题。它们的大名想必各位站长也不会陌生:秋水逸冰backup.sh脚本七牛qshell工具

    更多有关网站技术的教程可参考:

    VPS网站数据备份教程(1):backup.sh

    由SQL注入(或数据库权限)渗透WordPress站点的一些手法

    Linux服务器磁盘挂载:让空余的大硬盘VPS不再吃灰

    一、七牛服务的配置部分

    ①创建空间

    注册:https://portal.qiniu.com/signup?code=3lotum461pf82(我的aff,如果还没有注册并且不介意的话可以点一下啦

     )

    登录:https://portal.qiniu.com

    由于我们只用于备份,所以只要看存储空间的价格就行了。七牛提供10G的免费空间,这个大小对于一般站点的备份是足够的。

    假如我们的网站数据文件是500MB/个,天天备份,那么达到10G的大小则是20天,我们可以在空间里面设置自动删除20天之前的备份文件,这样就总也不会超出10G。

    按照以下步骤创建一个用于备份的空间:

    1.点击左侧“对象存储”。

    2.点击“新建存储空间”。

    3.在“存储空间名称”中输入想创建为备份用空间(bucket)的名称。这个名称请记下来,我们之后有用。

    4.在“存储区域”里面选择一个地区。一般离你的VPS机房越近越好,美国的机器建议选北美速度会比较快。但这里由于华南减价居正就选华南了,反正用于备份对速度速度要求也没那么高。

    5.在“访问控制”里面选择“私有空间”。毕竟我们不想让自己的备份文件被别人下载到。

    6.点击“确定创建”。

    如下:

    在这里我们的空间就创建好了。七牛还会提醒你进行绑定域名等后续操作,不过由于我们的空间只是用来放备份文件的,故不需要设置这些CDN相关的东西。

    ②配置qshell

    七牛提供一个支持Linux、macOS、Windows平台的开发者工具,通过调用API在VPS上操作七牛空间。

    在这里下载对应版本/系统位数的qshell:https://developer.qiniu.com/kodo/tools/1302/qshell

    附:查看Linux系统位数的方法:

    1. ls / #如果有lib64或这个目录,那操作系统就是64位的

    2. getconfig LONG_BIT 若输出32即为32位系统,64为64位系统

    32位的系统中int类型和long类型一般都是4字节,

    64位的系统中int类型还是4字节的,但是long已变成了8字节。

    inux系统中可 用”getconf WORD_BIT”和”getconf LONG_BIT”获得word和long的位数。

    64位系统中应该分别得到32和64。

    3. uname -a中若为X86示意为64位系统,i386等位32位系统

    refer to:http://blog.51cto.com/wbwk2005/423465

    以64位的系统为例:

    wget http://devtools.qiniu.com/qshell-v2.1.8.zip #利用wget下载qshell工具

    unzip qshell-v2.1.8.zip #解压

    cp qshell-linux-x64 /usr/bin/qshell #将文件复制到bin目录下,这样在任何地方都能执行qshell命令

    chmod +x /usr/bin/qshell #设置可执行权限

    然后在七牛后台取得自己密钥的AccessKey和SecretKey,保存下载备用:

    最后在VPS上执行此命令授权:

    qshell account 你的AccessKey 你的SecretKey

    #例如居正的是:

    qshell account _Sb-mV19gxrZ2E5mh2ERUHjx9yZ1O-5kU5Jo0lB4 xxxx2ERUHjx9yZ1O-5xxx

    二、配置backup.sh

    秋水逸冰的backup.sh是目前市面上最好用的Linux一键备份脚本之一。

    由于backup.sh默认只支持gdrive和ftp备份,居正在这里进行了相应的修改使其能够备份文件到七牛(这里采用了qshell rput系列命令,参考),并且去除了备份到gdrive的功能)。

    安装backup.sh脚本(文字修改自秋水逸冰官网):

    1、下载该脚本并赋予执行权限

    wget --no-check-certificate https://gitee.com/juzheng/source/raw/master/backup_qiniu.sh -O backup.sh

    chmod +x backup.sh

    2、修改并配置脚本

    请使用 vim 或 nano 等工具来修改。

    关于变量名的一些说明:

    ENCRYPTFLG (加密FLG,true 为加密,false 为不加密,默认是加密)

    BACKUPPASS (加密密码,重要,务必要修改)

    LOCALDIR (备份目录,可自己指定)

    TEMPDIR (备份目录的临时目录,可自己指定)

    LOGFILE (脚本运行产生的日志文件路径)

    BUCKET (七牛的容器名字,刚才创建的时候填的)

    MYSQL_ROOT_PASSWORD (MySQL/MariaDB/Percona 的 root 用户密码)

    MYSQL_DATABASE_NAME (指定 MySQL/MariaDB/Percona 的数据库名,留空则是备份所有数据库)

    ※ MYSQL_DATABASE_NAME 是一个数组变量,可以指定多个。举例如下:

    MYSQL_DATABASE_NAME[0]="phpmyadmin"

    MYSQL_DATABASE_NAME[1]="test"

    BACKUP (需要备份的指定目录或文件列表,留空就是不备份目录或文件)

    ※ BACKUP 是一个数组变量,可以指定多个。举例如下:

    BACKUP[0]="/data/www/default/test.tgz"

    BACKUP[1]="/data/www/default/test/"

    BACKUP[2]="/data/www/default/test2/"

    LOCALAGEDAILIES (指定多少天之后删除本地旧的备份文件,默认为 7 天)

    DELETE_REMOTE_FILE_FLG (删除FTP 上的备份文件 FLG,true 为删除,false 为不删除)

    FTP_FLG (上传文件至 FTP 的 FLG,true 为上传,false 为不上传)

    FTP_HOST (连接的 FTP 域名或 IP 地址)

    FTP_USER (连接的 FTP 的用户名)

    FTP_PASS (连接的 FTP 的用户的密码)

    FTP_DIR (连接的 FTP 的远程目录,比如: public_html)

    一些注意事项的说明:

    1)脚本需要用 root 用户来执行;

    2)脚本需要用到 openssl 来加密,请事先安装好;

    3)脚本默认备份所有的数据库(全量备份);

    4)备份文件的解密命令如下:

    openssl enc -aes256 -in [ENCRYPTED BACKUP] -out decrypted_backup.tgz -pass pass:[BACKUPPASS] -d -md sha1

    5)备份文件解密后,解压命令如下:

    tar -zxPf [DECRYPTION BACKUP FILE]

    解释一下参数 -P:

    tar 压缩文件默认都是相对路径的。加个 -P 是为了 tar 能以绝对路径压缩文件。因此,解压的时候也要带个 -P 参数。

    3、运行脚本开始备份

    ./backup.sh

    脚本默认会显示备份进度,并在最后统计出所需时间。

    如果你想将脚本加入到 cron 自动运行的话,就不需要前台显示备份进度,只写日志就可以了。

    这个时候你需要稍微改一下脚本中的 log 函数。

    log() {

        echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"

        echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}

    }

    改为:

    log() {

        echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}

    }

    关于如何使用 cron 自动备份,这里就不再赘述了 以 CentOS 6 来举例说明。

    修改文件 /etc/crontab,内容如下:

    SHELL=/bin/bash

    PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin

    MAILTO=root

    HOME=/root

    # For details see man 4 crontabs

    # Example of job definition:

    # .---------------- minute (0 - 59)

    # |  .------------- hour (0 - 23)

    # |  |  .---------- day of month (1 - 31)

    # |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...

    # |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

    # |  |  |  |  |

    # *  *  *  *  * user-name command to be executed

    30  1  *  *  * root bash /root/backup.sh

    以上表示,每天凌晨 1 点 30 分,root 用户执行一次 backup.sh 脚本。

    注意:

    一定要修改其中的 PATH 和 HOME 变量的值。

    尤其是 HOME 变量,qshell 命令能否正确执行,是要依赖于其配置文件的。默认用 root 配置的话,其配置文件夹应该是 /root/.qshell/ ,所以要更改 HOME 的值。

    可以在七牛空间的内容管理里面看到已经备份的文件,同时可以下载:

    三、七牛空间:备份文件生命周期设置

    最后我们需要在空间里面设置自动删除20天之前的备份文件,使容器总大小不会超出10G的免费额度。

    在生命周期里面点击新建规则:

    输入规则名字。然后在下面把“删除文件”打开,设置删除时间为20天:

    OK,以上就是给大家带来的“Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backup.sh脚本+七牛qshell工具”教程。如果你有任何疑问请在下面评论区提出!

    本文首发于淀粉月刊:https://dfkan.com

    原作者:居正

    发布时间:2018年6月22日

    点此查看原文

    相关文章

      网友评论

        本文标题:Linux自动备份大容量网站数据到七牛云存储:秋水逸冰backu

        本文链接:https://www.haomeiwen.com/subject/lzhdyftx.html