09-备份和恢复

作者: UncleZ_strive | 来源:发表于2019-12-27 19:14 被阅读0次

09-备份和恢复
iptables规则备份和恢复、firewalld的9个zone
数据备份与恢复产品技术介绍
gitlab 备份数据恢复
【MongoDB】— MongoDB备份恢复及导入导出——备份恢
5. MySQL 备份和恢复
postgres备份
MySQL备份和恢复
VMware Esxi 5.1备份和恢复VM
mydumper备份数据库

1. 运维人员在备份恢复方面的职责

1.设计备份策略

备份内容: 数据,二进制日志
数据容量: 大小
备份周期:
1.每天全备
2.周期全备+增量备份
3.周期全备+日志备份
备份时间: 晚上备份
备份目标位置

2.日常备份检查

日志 , 备份的内容,备份大小

3.定期恢复演练

我们建议,每半年做一次.

4.故障时的恢复

快速准确恢复数据.

5.平台数据迁移

同构平台
异构平台

2. 备份工具介绍

1.介绍

mysqldump (MDP)
Percona Xtrabackup(xbk,pbk,pxb)

2.区别

MDP : 逻辑备份,SQL文件,文本形式,可读性高,便于处理,压缩比高,备份相对较慢 ,比较适合于100G以内的备份 .
100G 30-40 Min
xbk : 物理备份,数据文件,可读性较低,压缩比低,备份相对较快,比较适合于100G以内的备份 .
100G 10min
600G 50min

100 PB ---拆分数据库---> MDP ---压缩->

3.mysqldump

1.备份逻辑

将磁盘数据,加载到临时表,转换为SQL(建库,建表,插入语句)

2.核心参数

连接参数
本地: -u -p -S
远程: -u -p -H -P
基础备份参数

1. 全备参数 
mysqldump -uroot -p123 -A >/data/backup/full.sql

2. 单库或多库备份 
mysqldump -uroot -p123 -B bgx oldboy test world mysql > /data/backup/db.sql

3. 单表或多表备份 
mysqldump -uroot -p123 world city country >/data/backup/tab.sql

4. 只导出建表语句
mysqldump -uroot -p123 world city country   --no-data >/data/backup/tab1.sql

高级备份参数

1.master-data=2

介绍
自动记录备份时的binlog filename 及pos
自动加锁和解锁
加了--single-transaction , 会有不一样的效果( global read lock is only taken a short time )
mysqldump -uroot -p123 -A --master-data=2 >/data/backup/full.sql
备份的结果:

[root@db01 ~]# cat /data/backup/full.sql
30 -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=1162;

2.single-transaction

介绍
开启独立事务,备份InnoDB表的一致性快照.实现InnoDB表的热备功能.
mysqldump -uroot -p123 -A --master-data=2 --single-transaction >/data/backup/full.sql

对于非InnoDB表(FTWRL,Flush tables with read lock),对于mysql库下的系统表备份的时候,会加global read lock

3.特殊的数据库对象

参数

-R         存储过程和函数
--triggers 触发器
-E         事件

mysqldump -uroot -p -A --master-data=2 --single-transaction -R --triggers -E >/data/backup/full.sql

4.max_allowed_packet=128M

介绍
1153 - Got a packet bigger than 'max_allowed_packet' bytes
出现场景: 在数据库有超大比表时,需要加此的参数.

5.终极备份语句
mysqldump -uroot -p -A --master-data=2 --single-transaction -R --triggers -E --max_allowed_packet=128M |gzip >/data/backup/full_$(date +%F).sql.gz

3.模拟故障和恢复(mysqldump 全备+ binlog)

1. 模拟原始数据

create database mdp charset utf8mb4;
use mdp
create table t1 (id int);
create table t2 (id int);
create table t3 (id int);
insert into t1 values(1);
commit;
insert into t2 values(1);
commit;
insert into t3 values(1);
commit;

1. 模拟全备
  mysqldump -uroot -p -A --master-data=2 --single-transaction -R --triggers -E --max_allowed_packet=128M |gzip >/data/backup/full_$(date +%F).sql.gz
1. 模拟新的数据

use mdp
insert into t1 values(2);
commit;
insert into t2 values(2);
commit;
insert into t3 values(2);
commit;

1. 搞破坏
  drop database mdp;

恢复思路
1.挂维护页
2.找测试库
3.准备备份(full 截取binlog部分 )
4.恢复全备+binlog到测试库 , 业务测试
5.导出故障库数据,恢复到生产
6.撤维护页.

恢复过程:

准备备份

vim /data/backup/full_2019-12-26.sql
第30行: 
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=2570;

截取二进制日志

起点 :  2570
mysql> show binlog events in 'mysql-bin.000003';
| mysql-bin.000003 | 3388 | Query          |         6 |        3477 | drop database mdp     
终点 : 3388

mysqlbinlog --skip-gtids --start-position=2570 --stop-position=3388 /data/mysql/binlog_3306/mysql-bin.000003 >/data/backup/bin.sql

恢复备份

set sql_log_bin=0;
source /data/backup/full_2019-12-26.sql
source /data/backup/bin.sql
set sql_log_bin=1;

检查数据

mysql> show tables;

扩展: 从全备中提取单库单表的数据进行恢复
1, 获得表结构
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLEcity/!d;q' full.sql>createtable.sql
2, 获得INSERT INTO 语句，用于数据的恢复
grep -i 'INSERT INTOcity' full.sqll >data.sql &
3, 获取单库的备份
sed -n '/^-- Current Database:world/,/^-- Current Database:/p' all.sql >world.sql`

Percona Xtrabackup (物理)

MySQL物理备份工具-xtrabackup(XBK、Xbackup)

1. 安装

1.安装依赖包

配置阿里epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
安装依赖包
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
下载软件
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
安装
yum -y install percona-xtrabackup-*.rpm

2.备份命令介绍:

xtrabackup
innobackupex ******

3.备份恢复方式——物理备份

1.INNODB表

进行 checkpoint,将内存已经提交事务的脏页,刷新到磁盘ibd文件,并且记录LSN号码
拷贝InnoDB数据(ibd,frm,ibdata1)文件到预定的备份路径

2.非INNODB表

FLUSH TABLE WITH READ LOCK(FTWRL) Global READ LOCK（全局锁）
拷贝非InnoDB表各种数据
解锁
REDO
自动将备份期间的redo变化保存下来.并记录全新的LSN号码

3.XBK恢复流程:

1. prepare 准备恢复过程
  (1) redo将变化前滚
  (2) Undo将未提交的事务进行回滚
1. copy-back 恢复过程
  cp
  --copy-back
  授权

4. 备份策略介绍

full + inc + binlog -------> 全备+增量+binlog
full + binlog ------> 全备+日志

5. xbk备份工具使用

[root@db01 ~]# vim /etc/my.cnf
[client]
socket=/tmp/mysql.sock

1.全备

innobackupex --user=root --password=123 /data/backup

2.全备自定制目录名

innobackupex --user=root --password=123 --no-timestamp /data/backup/full_$(date +%F)

3.备份信息介绍

xtrabackup_binlog_info

[root@db01 full_2019-12-27]# cat xtrabackup_binlog_info 
mysql-bin.000006    2355    cc5e7931-1fe5-11ea-9f38-000c29a10c63:1-25
作用: 二进制日志截取的起点位置

xtrabackup_checkpoints

[root@db01 full_2019-12-27]# cat xtrabackup_checkpoints 
backup_type = full-prepared
from_lsn = 0
to_lsn = 165458551
last_lsn = 165458560
compact = 0
recover_binlog_info = 0

xtrabackup_info
xtrabackup_logfile

4.增量备份

模拟周一白天数据变化:

create database xbk charset utf8mb4;
use xbk;
create table t1 (id int);
create table t2 (id int);
create table t3 (id int);
insert into t1 values(1);
commit;
insert into t2 values(1);
commit;
insert into t3 values(1);
commit;

模拟周一晚上的增量inc1

innobackupex  --user=root --password=123 --no-timestamp  --incremental  --incremental-basedir=/data/backup/full_2019-12-27    /data/backup/inc1

模拟周二白天数据变化

use xbk;
insert into t1 values(2);
commit;
insert into t2 values(2);
commit;
insert into t3 values(2);
commit;

模拟周二晚上的增量inc2

innobackupex  --user=root --password=123 --no-timestamp  --incremental  --incremental-basedir=/data/backup/inc1    /data/backup/inc2

模拟周三白天的数据变化

use xbk;
insert into t1 values(3);
commit;
insert into t2 values(3);
commit;
insert into t3 values(3);
commit;

5.故障恢复

\rm -rf /data/mysql/data_3306/*

恢复思路:
1. 找最近的全备
2. 所有增量(inc1,inc2)合并全备(/data/backup/full_2019-12-27 )中
3. 备份的prepare(应用redo和undo)
4. 恢复备份cp ,改权限
5. 启动数据库
6. 截取周二备份到周三故障点的binlog,进行恢复.

增量合并并准备

This option should be used when preparing the base full
backup and when merging all incrementals except the last one.
各个备份的,lsn能够连续.

(1) base_full 的 prepared --apply-log

[root@db01 ~]# innobackupex --apply-log --redo-only /data/backup/full_2019-12-27

(2) 将inc1 合并到full中

innobackupex --apply-log --redo-only   --incremental-dir=/data/backup/inc1 /data/backup/full_2019-12-27

(3) 将inc2 合并到 full中

innobackupex --apply-log  --incremental-dir=/data/backup/inc2 /data/backup/full_2019-12-27

(4) 整体备份的prepare.

innobackupex --apply-log  /data/backup/full_2019-12-27

恢复备份

[root@db01 full_2019-12-27]# cp -a * /data/mysql/data_3306/
[root@db01 full_2019-12-27]# chown -R mysql.mysql /data

启动数据库
截取二进制日志

[root@db01 inc2]# cat /data/backup/inc2/xtrabackup_binlog_info 
mysql-bin.000003    6593    411148c1-26bf-11ea-a420-000c298780da:1-42

mysqlbinlog --skip-gtids --include-gtids='411148c1-26bf-11ea-a420-000c298780da:43-45' /data/mysql/binlog_3306/mysql-bin.000003 >/data/backup/bin.sql

恢复binlog

mysql> set sql_log_bin=0;
mysql> source /data/backup/bin.sql
mysql> set sql_log_bin=1;

总备份2T,误删除1G一张核心表.
思路: 表空间迁移.

09-备份和恢复
1. 运维人员在备份恢复方面的职责 1.设计备份策略备份内容: 数据,二进制日志数据容量: 大小备份周期:...
iptables规则备份和恢复、firewalld的9个zone
iptables规则备份和恢复 iptables规则备份和恢复 firewalld的9个zone firewall...
数据备份与恢复产品技术介绍
数据备份与恢复产品是指实现和管理信息系统数据备份和恢复过程的产品。按照备份数据量，可以分为：完全备份、差异备份和...
gitlab 备份数据恢复
在说gitlab数据备份数据恢复之前，前记录一个gitlab备份的命令 gitlab 服务的备份恢复，只能在和备份...
【MongoDB】— MongoDB备份恢复及导入导出——备份恢
MongoDB备份恢复及导入导出和异构平台迁移。在生产环境中，备份恢复和容灾备份至关重要，需要定时对数据库进行备份...
5. MySQL 备份和恢复
1 MySQL备份和恢复 1.1 备份类型完全备份, 部分备份完全备份: 整个数据集, 备份一整...
postgres备份
| | 备份速度|备份范围|恢复范围|操作影响|备份原理|恢复成本|| ------- |:---...
MySQL备份和恢复
1、什么是备份和恢复？备份：存储的数据副本；原始数据：持续改变；恢复：把副本应用到线上系统；仅能恢复至备份操作时...
VMware Esxi 5.1备份和恢复VM
VMwareEsxi5.1备份和恢复VM VMware Esxi 5.1备份和恢复VM的方式很多，下面介绍2种方式...
mydumper备份数据库
一、备份 1.全库备份 2.单库备份 3.表备份二、恢复恢复库单表恢复单表恢复需要解压备份文件为sql格式...