Mysql之binlog

1. Bin-log介绍

binlog,即二进制日志,它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；
它可以用来查看数据库的变更历史、数据库增量备份和恢复、MySQL的复制（主从数据库的复制）

2. Bin-log的格式

binlog有三种格式：Statement、Row以及Mixed。

–基于SQL语句的复制(statement-based replication,SBR)，
–基于行的复制(row-based replication,RBR)，
–混合模式复制(mixed-based replication,MBR)。

2.1 Statement

每一条会修改数据的sql都会记录在binlog中。

优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。

缺点：由于记录的只是执行语句，为了这些语句能在slave上正确运行，因此还必须记录每条语句在执行的时候的一些相关信息，以保证所有语句能在slave得到和在master端执行时候相同 的结果。另外mysql 的复制,像一些特定函数功能，slave可与master上要保持一致会有很多相关问题。

ps：相比row能节约多少性能与日志量，这个取决于应用的SQL情况，正常同一条记录修改或者插入row格式所产生的日志量还小于Statement产生的日志量，但是考虑到如果带条件的update操作，以及整表删除，alter表等操作，ROW格式会产生大量日志，因此在考虑是否使用ROW格式日志时应该跟据应用的实际情况，其所产生的日志量会增加多少，以及带来的IO性能问题。

2.2 Row

5.1.5版本的MySQL才开始支持row level的复制,它不记录sql语句上下文相关信息，仅保存哪条记录被修改。

优点： binlog中可以不记录执行的sql语句的上下文相关的信息，仅需要记录那一条记录被修改成什么了。所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程，或function，以及trigger的调用和触发无法被正确复制的问题.

缺点:所有的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志内容。

ps:新版本的MySQL中对row level模式也被做了优化，并不是所有的修改都会以row level来记录，像遇到表结构变更的时候就会以statement模式来记录，如果sql语句确实就是update或者delete等修改数据的语句，那么还是会记录所有行的变更。

2.3 Mixed

从5.1.8版本开始，MySQL提供了Mixed格式，实际上就是Statement与Row的结合。

在Mixed模式下，一般的语句修改使用statment格式保存binlog，如一些函数，statement无法完成主从复制的操作，则采用row格式保存binlog，MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种。

3. Bin-log相关命令

3.1 查看binlog的方式 show variables like '%binlog_format%'

mysql> show variables like '%binlog_format%';
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.01 sec)

3.2 查看bin-log是否启用 show variables like '%binlog%'

mysql> show variables like '%binlog%';
+-----------------------------------------+----------------------+
| Variable_name                           | Value                |
+-----------------------------------------+----------------------+
| binlog_cache_size                       | 32768                |
| binlog_checksum                         | CRC32                |
| binlog_direct_non_transactional_updates | OFF                  |
| binlog_error_action                     | IGNORE_ERROR         |
| binlog_format                           | STATEMENT            |
| binlog_gtid_simple_recovery             | OFF                  |
| binlog_max_flush_queue_time             | 0                    |
| binlog_order_commits                    | ON                   |
| binlog_row_image                        | FULL                 |
| binlog_rows_query_log_events            | OFF                  |
| binlog_stmt_cache_size                  | 32768                |
| binlogging_impossible_mode              | IGNORE_ERROR         |
| innodb_api_enable_binlog                | OFF                  |
| innodb_locks_unsafe_for_binlog          | OFF                  |
| max_binlog_cache_size                   | 18446744073709547520 |
| max_binlog_size                         | 1073741824           |
| max_binlog_stmt_cache_size              | 18446744073709547520 |
| simplified_binlog_gtid_recovery         | OFF                  |
| sync_binlog                             | 0                    |
+-----------------------------------------+----------------------+
19 rows in set (0.00 sec)

3.3 打开bin-log的方法

默认情况下bin-log是关闭的，需要修改my.cnf文件，
添加log-bin=mysql-bin至文件中，然后重启mysql服务即可。

3.4 获取bin-log文件列表 show binary logs

mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       754 |
+------------------+-----------+
1 row in set (0.00 sec)

3.5 获取当前写入bin-log文件 show master status

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      754 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

3.6 查看当前bin-long文件内容 show binlog events

mysql> show binlog events;
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| Log_name         | Pos | Event_type  | Server_id | End_log_pos | Info                                                                                                        |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| mysql-bin.000001 |   4 | Format_desc |         1 |         120 | Server ver: 5.6.23-log, Binlog ver: 4                                                                       |
| mysql-bin.000001 | 120 | Query       |         1 |         203 | BEGIN                                                                                                       |
| mysql-bin.000001 | 203 | Intvar      |         1 |         235 | INSERT_ID=100012                                                                                            |
| mysql-bin.000001 | 235 | Query       |         1 |         406 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 2) |
| mysql-bin.000001 | 406 | Xid         |         1 |         437 | COMMIT /* xid=159 */                                                                                        |
| mysql-bin.000001 | 437 | Query       |         1 |         520 | BEGIN                                                                                                       |
| mysql-bin.000001 | 520 | Intvar      |         1 |         552 | INSERT_ID=100014                                                                                            |
| mysql-bin.000001 | 552 | Query       |         1 |         723 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 1) |
| mysql-bin.000001 | 723 | Xid         |         1 |         754 | COMMIT /* xid=243 */                                                                                        |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
9 rows in set (0.00 sec)

3.7 查看指定bin-log文件内容 show binlog events in 'mysql-bin.000001'

mysql> show binlog events in 'mysql-bin.000001';
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| Log_name         | Pos | Event_type  | Server_id | End_log_pos | Info                                                                                                        |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| mysql-bin.000001 |   4 | Format_desc |         1 |         120 | Server ver: 5.6.23-log, Binlog ver: 4                                                                       |
| mysql-bin.000001 | 120 | Query       |         1 |         203 | BEGIN                                                                                                       |
| mysql-bin.000001 | 203 | Intvar      |         1 |         235 | INSERT_ID=100012                                                                                            |
| mysql-bin.000001 | 235 | Query       |         1 |         406 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 2) |
| mysql-bin.000001 | 406 | Xid         |         1 |         437 | COMMIT /* xid=159 */                                                                                        |
| mysql-bin.000001 | 437 | Query       |         1 |         520 | BEGIN                                                                                                       |
| mysql-bin.000001 | 520 | Intvar      |         1 |         552 | INSERT_ID=100014                                                                                            |
| mysql-bin.000001 | 552 | Query       |         1 |         723 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 1) |
| mysql-bin.000001 | 723 | Xid         |         1 |         754 | COMMIT /* xid=243 */                                                                                        |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
9 rows in set (0.00 sec)

3.8 设置bin-log过期时间 set global expire_logs_days=3

mysql> show variables like 'expire_logs_days';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| expire_logs_days | 0     |
+------------------+-------+
1 row in set (0.00 sec)
mysql> set global expire_logs_days=3;
Query OK, 0 rows affected (0.00 sec)

3.9 手动清理所有bin-log

mysql> reset master;
Query OK, 0 rows affected (0.07 sec)
mysql> reset slave;

3.10 手动清理部分bin-log

Query OK, 0 rows affected (0.00 sec)
mysql> purge master logs before '2012-03-30 17:20:00';//删除指定日期以前的日志索引中binlog日志文件
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql> purge master logs to 'mysql-bin.000001';//删除指定日志文件的日志索引中binlog日志文件
Query OK, 0 rows affected (0.02 sec)

4. Bin-log扩展

当停止或重启服务器时，服务器会把日志文件记入下一个日志文件，Mysql会在重启时生成一个新的日志文件，文件序号递增；此外，如果日志文件超过max_binlog_size（默认值1G）系统变量配置的上限时，也会生成新的日志文件（在这里需要注意的是，如果你正使用大的事务，二进制日志还会超过max_binlog_size，不会生成新的日志文件，事务全写入一个二进制日志中,这种情况主要是为了保证事务的完整性）；日志被刷新时，新生成一个日志文件。
如：

mysql> flush logs;
Query OK, 0 rows affected (0.07 sec)

mysql> show binary logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |       167 |
| mysql-bin.000002 |       120 |
+------------------+-----------+
2 rows in set (0.00 sec)