利用阿里云OSS定期备份网站

博客之前一直采用的是本地备份方式，如果本地硬盘故障了那么数据也就都没了。在偶然的一天看了一篇文章《Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站》，阿里云ECS到阿里云OSS可以走内网，正好我也是用的阿里云ECS，因为于是就开始折腾。

0x01 OSS配置

1. 开通OSS，并创建Bucket
   登录阿里云控制台，开通OSS，然后新建一个Bucket（名称自定义），注意选择ECS相同的区域（比如青岛的ECS我就选择华北1），并且选择私有读写权限

   
   新建Bucket

2. 创建认证秘钥

   
   点击安全令牌

3. 开始授权

   
   开始授权
   

   创建得到的密钥最好保存一份，因为只能获取一次：

   
   AccessKey创建成功

0x02 SDK脚本

SDK脚本可以参考OSS帮助文档《SDK参考》，根据自己熟悉的语言选择。我这边使用的是Python SDK

1. 安装SDK
   OSS的Python SDK需要用到oss2插件，如果服务器上已经安装了pip工具，可直接执行如下命令安装oss2插件

# pip install oss2

如果服务器没有pip工具则需要先安装，再安装oss2

# yum install python-pip -y

验证oss版本

 >>> import oss2
 >>> oss2.__version__
 '2.2.2'

上面的输出表明您已经成功安装了特定版本的Python SDK（这里以版本2.2.2为例）。

2. 上传脚本
   官方代码请参考《Python SDK》。
   下面是我自己使用的上传脚本

# -*- coding: utf-8 -*-

from __future__ import print_function
import os, sys
import oss2

#输入AccessKeyId和AccessKeySecret
auth = oss2.Auth('<AccessKeyId>', '<AccessKeySecret>')

#输入Endpoint和Bucket名
bucket = oss2.Bucket(auth, '<Endpoint>', '<Bucket名>')

#本地文件路径
filePath = sys.argv[1]

#传到OSS上的名称
fileName = filePath.split("/")[-1]

#上传进度条
def percentage(consumed_bytes, total_bytes):
    if total_bytes:
        rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
        print('\r{0}% '.format(rate), end='')
        sys.stdout.flush()

#上传文件
bucket.put_object(fileName, filePath, progress_callback=percentage)
print('\rUpload to OSS Success!')

使用方法：将上述代码保存为 upload.py，并上传到服务器/usr/local/bin下，执行如下命令可开始上传文件到OSS：

# python /usr/local/bin/upload.py  yangfannie.tar.gz /cache1/backup/yangfannie.com_3.tar.gz
提示Upload to OSS Success!即上传成功

在OSS的Object界面就可以看到刚上传的文件了

0x03 定时备份

这边用shell写的7天循环备份脚本

#!/bin/bash

test -f /etc/profile && . /etc/profile >/dev/null 2>&1

#获取脚本所在的目录
baseDir=$(cd $(dirname $0) && pwd)

#获取zip版本，如果没有则安装
zip --version >/dev/null || yum install -y zip

#获取下面的命令执行的位置
ZIP=$(which zip)
PYTHON=$(which python)
MYSQLDUMP=$(which mysqldump)

#获取星期几
TODAY=`date +%u`

# OSS上传文件函数
uploadToOSS()
{
    $PYTHON $baseDir/upload.py  $1
}
#7天循环备份DB脚本
backupDB()
{
    domain=$1
    dbname=$2
    mysqluser=$3
    mysqlpd=$4
    back_path=$5
    test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
    cd $back_path
    $MYSQLDUMP -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=binary >$back_path/$domain\_db_$TODAY\.sql
    test -f $back_path/$domain\_db_$TODAY\.sql || (echo "MysqlDump failed!" && exit 2)
    #ZIP压缩，密码为12345678，密码可自行修改
    $ZIP -P12345678 -m $back_path/$domain\_db_$TODAY\.zip $domain\_db_$TODAY\.sql && \
    #上传到OSS
    uploadToOSS $back_path/$domain\_db_$TODAY\.zip
}

#7天循环备份网站脚本
backupFile()
{
    domain=$1
    site_path=$2
    back_path=$3
    test -d $site_path || (echo "$site_path not found!" && exit 2)
    test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
    test -f $back_path/$domain\_$TODAY\.zip && rm -f $back_path/$domain\_$TODAY\.zip
    $ZIP -P1234qaz! -9r $back_path/$domain\_$TODAY\.zip $site_path && \
    uploadToOSS $back_path/$domain\_$TODAY\.zip
}
while [ $1 ]; do
    case $1 in
        '--db' | 'db' )
        backupDB $2 $3 $4 $5 $6
        exit
        ;;
        '--site' | 'site' )
        backupFile $2 $3 $4
        exit
        ;;

    esac
done

执行命令：

赋予脚本执行权限
# chmod +x  /usr/local/bin/backup.sh

备份DB并上传OSS(参数依次为：db、域名、数据库名称、数据库用户名、对应密码、备份路径)
# /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup

备份网站并上传OSS（参数依次为：site、域名、网站根目录、备份路径）
# /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/

最后把命令加到排程去定时执行即可

0 4 * * * /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/ >/dev/null 2>&1
0 5 * * * /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup >/dev/null 2>&1

0x04 Q&A

1. ErrorCode: AccessDenied ErrorMessage: You have no right to access this object because of bucket acl.
   原因：子用户/临时用户没有访问Object的权限
   解决办法：辨别密钥是主用户、子用户还是临时用户的。需要用主用户的AccessKeyID。更多的权限问题请参考->OSS 权限问题及排查
   临时的用户的密钥的AccessKeyID，以STS开头比较好辨认，如“STS.MpsSonrqGM8bGjR6CRKNMoHXe”。
   主用户的密钥，需要到控制台 查看AccessKeyID是否存在，如果存在说明是主用户；如果不存在，该用户是子用户.
   子用户的秘钥在 访问控制 > 用户管理 > 管理 > 用户详情 > 用户AccessKey，查看子用户的AccessKeyID，并找到对应的子用户。

博客地址：http://yangfannie.com