美文网首页我爱编程
如何实现MySQL数据变更跟踪回滚记录

如何实现MySQL数据变更跟踪回滚记录

作者: LizPL | 来源:发表于2017-06-26 17:13 被阅读0次

    背景及目的:

    数据隔离是实现自动化测试用例多线程执行的前提。

    本文目标是每个测试用例执行结束后,消除数据痕迹,实现不删除整个表,回退数据库到测试用例运行前初始状态。

    步骤:

    主要分两步:

    1. 使用binlog跟踪数据变更。

    binlog format类型为3种:ROW,MIXED, STATEMENT;

    重启mysql:

    service mysql restart --log-bin=sqlbin --binlog_format='ROW'

    1)查看所有二进制日志文件:

    mysql>SHOW BINARY LOGS;

    2)显示当前正在使用的二进制日志文件:

    mysql>SHOW MASTER STATUS;

    3.)查看指定二进制日至文件的具体内容:

    mysql>SHOW BINLOG EVENTS in ‘sqlbin.000001’ FROM POSITION=177;

    #mysqlbinlog /mydata/mdata/sqlbin.000001

    导出到文件:

    ./mysqlbinlog /var/lib/mysql/sqlbin.000002 --result-file=mysqlbin.000002.sql

    2. 利用开源工具解析导出文件。

    使用mysqlbinlog解析出的sql文件不是可以直接执行的Sql命令,因此需要如下开源工具。

    开源工具:git@github.com:danfengcao/binlog2sql.git

    1)配置mysql下my.cnf:

    server_id = 1

    log_bin = /var/lib/mysql/mysql-bin.log

    max_binlog_size = 1G

    binlog_format = row

    binlog_row_image = full

    2)重启:

    service mysql start

    3)测试:

    mysql中执行插入操作,先插入3后插入2:

    insert into con_test values(3);

    insert into con_test values(2);

    4)解析操作:

    python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'123456' -dtest --start-file='mysql-bin.000001'

    输出:

    INSERT INTO `test`.`con_test`(`a`) VALUES ('3'); #start 4 end 281 time 2017-02-28 16:34:23

    INSERT INTO `test`.`con_test`(`a`) VALUES ('2'); #start 312 end 473 time 2017-02-28 16:35:58

    5)解析回滚操作:

    python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uroot -p'123456' -dtest --start-file='mysql-bin.000001'

    输出:

    DELETE FROM `test`.`con_test` WHERE `a`='2' LIMIT 1; #start 312 end 473 time 2017-02-28 16:35:58

    DELETE FROM `test`.`con_test` WHERE `a`='3' LIMIT 1; #start 4 end 281 time 2017-02-28 16:34:23

    6)可以看出可以解析结果正确,顺序无误!

    实际运用中注意事项:

    1)需要保存每个测试用例引起的sql变动到文件,文件命名需与case一一对应。

    2)运行前备份mysql-bin.000001初始化文件mysql-bin.bak,

    3)运行后将变动后的mysql-bin文件替换为mysql-bin.bak即可达到清楚历史操作的效果。

    4)不可以直接暴力删除mysql-bin文件。

    FAQ:

    1.启动失败报错,The server quit without updating PID file:

    配置文件错误导致,将log_bin = /var/log/mysql/mysql-bin.log改为

    log_bin = /var/lib/mysql/mysql-bin.log后,启动成功。

    参考资料:

    mysql binlog工作原理:

    https://dev.mysql.com/doc/refman/5.6/en/binary-log.html

    相关文章

      网友评论

        本文标题:如何实现MySQL数据变更跟踪回滚记录

        本文链接:https://www.haomeiwen.com/subject/jpdjcxtx.html