美文网首页
mysql binglog 二进制日志文件

mysql binglog 二进制日志文件

作者: 懒懒DE鳄鱼 | 来源:发表于2017-08-25 13:31 被阅读0次

    1.MySQL Server 有四种类型的日志——Error Log、General Query Log、Binary Log 和 Slow Query Log。

       1.1.第一个是错误日志,记录 mysqld 的一些错误。

      1. 2.第二个是一般查询日志,记录 mysqld 正在做的事情,比如客户端的连接和断开、来自客户端每条 Sql Statement 记录信息;如果你想准确知道客户端到底传了什么给服务端,这个日志就非常管用了,不过它非常影响性能。

      1.3.第三种就是 Binlog 了,包含了一些事件,这些事件描述了数据库的改动,如建表、数据改动等,也包括一些潜在改动,比如DELETE FROM       ran WHERE bing = luan,然而一条数据都没被删掉的这种情况.

       1.4.第四个是慢查询日志,记录一些查询比较慢的 SQL 语句——这种日志非常常用,主要是给开发者调优用的。

    2.通常情况 MySQL 是默认关闭 Binlog 的 所以要自己启用binlog 启用的过程就是修改配置文件my.cnf了。

       配置log-bin和log-bin-index的值,如果没有则自行加上去.

        log-bin=master-bin    log-bin-index=master-bin.index  这里的log-bin是指以后生成各 Binlog 文件的前缀,比如上述使用master-bin,那么文件就将会是master-bin.000001、master-bin.000002等。而这里的log-bin-index则指 binlog index 文件的名称,这里我们设置为master-bin.index。

    log_bin  设置此参数表示启用binlog功能,并指定路径名称

    log_bin_index  设置此参数是指定二进制索引文件的路径与名称

    binlog_do_db  此参数表示只记录指定数据库的二进制日志

    binlog_ignore_db 此参数表示不记录指定的数据库的二进制日志

    max_binlog_cache_size 此参数表示binlog使用的内存最大的尺寸

    binlog_cache_size 此参数表示binlog使用的内存大小,可以通过状态变量binlog_cache_use和binlog_cache_disk_use来帮助测试

    binlog_cache_use:使用二进制日志缓存的事务数量 

    binlog_cache_disk_use:使用二进制日志缓存但超过binlog_cache_size值并使用临时文件来保存事务中的语句的事务数量

    max_binlog_size  Binlog最大值,最大和默认值是1GB,该设置并不能严格控制Binlog的大小,尤其是Binlog比较靠近最大值而又遇到一个比较大事务时,为了保证事务的完整性,不可能做切换日志的动作,只能将该事务的所有SQL都记录进当前日志,直到事务结束

    sync_binlog  这个参数直接影响mysql的性能和完整性

    sync_binlog=0:

    当事务提交后,Mysql仅仅是将binlog_cache中的数据写入Binlog文件,但不执行fsync之类的磁盘        同步指令通知文件系统将缓存刷新到磁盘,而让Filesystem自行决定什么时候来做同步,这个是性能最好的。

    sync_binlog=n,在进行n次事务提交以后,Mysql将执行一次fsync之类的磁盘同步指令,同志文件系统将Binlog文件缓存刷新到磁盘。

    Mysql中默认的设置是sync_binlog=0,即不作任何强制性的磁盘刷新指令,这时性能是最好的,但风险也是最大的。一旦系统绷Crash,在文件系统缓存中的所有Binlog信息都会丢失

    binlog的删除  binlog的删除可以手工删除或自动删除

    自动删除binlog  通过binlog参数(expire_logs_days )来实现mysql自动删除binlog

    手动删除 mysql> reset master;  //删除master的binlog

    mysql> reset slave;    //删除slave的中继日志

    mysql> purge master logs before '2012-03-30 17:20:00';  //删除指定日期以前的日志索引中binlog日志文件

    mysql> purge master logs to 'binlog.000002';   //删除指定日志文件的日志索引中binlog日志文件

    3. binlog 内容

    #170803 18:40:13 server id 2  end_log_pos 349718 CRC32 0x1f9bcdae Querythread_id=13931exec_time=0error_code=0SET TIMESTAMP=1501756813/*!*/;COMMIT/*!*/;# at 349718#170803 18:40:13 server id 2  end_log_pos 349807 CRC32 0xb104f75d Querythread_id=13931exec_time=0error_code=0SET TIMESTAMP=1501756813/*!*/;BEGIN/*!*/;# at 349807#170803 18:40:13 server id 2  end_log_pos 353501 CRC32 0xb1c9cef5 Querythread_id=13931exec_time=0error_code=0SET TIMESTAMP=1501756813/*!*/;UPDATE `cmf_theme_file`  SET `theme`='simpleboot3',`action`='portal/Page/index',`file`='portal/contact',`name`='联系我们页',`more`='{\"vars\":{\"baidu_map_info_window_text\":{\"title\":\"\\u767e\\u5ea6\\u5730\\u56fe\\u6807\\u6ce8\\u6587\\u5b57\",\"name\":\"baidu_map_info_window_text\",\"value\":\"ThinkCMF\\u5730\\u5740\\uff1a\\u4e0a\\u6d77\\u5e02\\u5f90\\u6c47\\u533a\\u659c\\u571f\\u8def2601\\u53f7<\\/span>\",\"type\":\"text\",\"tip\":\"\\u767e\\u5ea6\\u5730\\u56fe\\u6807\\u6ce8\\u6587\\u5b57,\\u652f\\u6301\\u7b80\\u5355html\\u4ee3\\u7801\",\"rule\":[]},\"company_location\":{\"title\":\"\\u516c\\u53f8\\u5750\\u6807\",\"value\":\"\",\"type\":\"location\",\"tip\":\"\",\"rule\":{\"require\":true}},\"address_cn\":{\"title\":\"\\u516c\\u53f8\\u5730\\u5740\",\"value\":\"\\u4e0a\\u6d77\\u5e02\\u5f90\\u6c47\\u533a\\u659c\\u571f\\u8def0001\\u53f7\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"address_en\":{\"title\":\"\\u516c\\u53f8\\u5730\\u5740\\uff08\\u82f1\\u6587\\uff09\",\"value\":\"NO.0001 Xie Tu Road, Shanghai China\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"email\":{\"title\":\"\\u516c\\u53f8\\u90ae\\u7bb1\",\"value\":\"catman@thinkcmf.com\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"phone_cn\":{\"title\":\"\\u516c\\u53f8\\u7535\\u8bdd\",\"value\":\"021 1000 0001\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"phone_en\":{\"title\":\"\\u516c\\u53f8\\u7535\\u8bdd\\uff08\\u82f1\\u6587\\uff09\",\"value\":\"+8621 1000 0001\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"qq\":{\"title\":\"\\u8054\\u7cfbQQ\",\"value\":\"478519726\",\"type\":\"text\",\"tip\":\"\\u591a\\u4e2a QQ\\u4ee5\\u82f1\\u6587\\u9017\\u53f7\\u9694\\u5f00\",\"rule\":{\"require\":true}}}}',`config_more`='{\"vars\":{\"baidu_map_info_window_text\":{\"title\":\"\\u767e\\u5ea6\\u5730\\u56fe\\u6807\\u6ce8\\u6587\\u5b57\",\"name\":\"baidu_map_info_window_text\",\"value\":\"ThinkCMF\\u5730\\u5740\\uff1a\\u4e0a\\u6d77\\u5e02\\u5f90\\u6c47\\u533a\\u659c\\u571f\\u8def2601\\u53f7<\\/span>\",\"type\":\"text\",\"tip\":\"\\u767e\\u5ea6\\u5730\\u56fe\\u6807\\u6ce8\\u6587\\u5b57,\\u652f\\u6301\\u7b80\\u5355html\\u4ee3\\u7801\",\"rule\":[]},\"company_location\":{\"title\":\"\\u516c\\u53f8\\u5750\\u6807\",\"value\":\"\",\"type\":\"location\",\"tip\":\"\",\"rule\":{\"require\":true}},\"address_cn\":{\"title\":\"\\u516c\\u53f8\\u5730\\u5740\",\"value\":\"\\u4e0a\\u6d77\\u5e02\\u5f90\\u6c47\\u533a\\u659c\\u571f\\u8def0001\\u53f7\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"address_en\":{\"title\":\"\\u516c\\u53f8\\u5730\\u5740\\uff08\\u82f1\\u6587\\uff09\",\"value\":\"NO.0001 Xie Tu Road, Shanghai China\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"email\":{\"title\":\"\\u516c\\u53f8\\u90ae\\u7bb1\",\"value\":\"catman@thinkcmf.com\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"phone_cn\":{\"title\":\"\\u516c\\u53f8\\u7535\\u8bdd\",\"value\":\"021 1000 0001\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"phone_en\":{\"title\":\"\\u516c\\u53f8\\u7535\\u8bdd\\uff08\\u82f1\\u6587\\uff09\",\"value\":\"+8621 1000 0001\",\"type\":\"text\",\"tip\":\"\",\"rule\":{\"require\":true}},\"qq\":{\"title\":\"\\u8054\\u7cfbQQ\",\"value\":\"478519726\",\"type\":\"text\",\"tip\":\"\\u591a\\u4e2a QQ\\u4ee5\\u82f1\\u6587\\u9017\\u53f7\\u9694\\u5f00\",\"rule\":{\"require\":true}}}}',`description`='联系我们页模板文件',`is_public`=0,`list_order`=10  WHERE  `theme` = 'simpleboot3'  AND `file` = 'portal/contact'

    /*!*/;

    # at 353501

    #170803 18:40:13 server id 2  end_log_pos 353591 CRC32 0xc21eaf1c Query thread_id=13931 exec_time=0 error_code=0

    SET TIMESTAMP=1501756813/*!*/;

    COMMIT

    /*!*/;

    # at 353591

    #170803 18:40:13 server id 2  end_log_pos 353680 CRC32 0xa04760af Query thread_id=13931 exec_time=0 error_code=0

    SET TIMESTAMP=1501756813/*!*/;

    BEGIN

    位置

    位于文件中的位置,“at 353591”说明“事件”的起点,是以第353591字节开始;“end_log_pos 353680”说明以第353680字节结束

    时间戳

    事件发生的时间戳:“170803 18:40:13”

    事件执行时间

    事件执行花费的时间:"exec_time=0"

    错误码

    错误码为:“error_code=0”

    服务器的标识

    服务器的标识id:“server id 2”

    4.mysql binlog 事件

    QUERY_EVENT 

    二进制日志中最常见的事件  QUERY_EVENT以文本的形式来记录事务的操作。

    FORMAT_DESCRIPTION_EVENT 它是binlog文件中的第一个事件,而且,该事件只会在binlog中出现一次。MySQL根据FORMAT_DESCRIPTION_EVENT的定义来解析其它事件。它通常指定了MySQL Server的版本,binlog的版本,该binlog文件的创建时间

    ROWS_EVENT 

    对于ROW格式的binlog,所有的DML(数据操作语言)语句都是记录在ROWS_EVENT中。ROWS_EVENT分为三种:WRITE_ROWS_EVENT,UPDATE_ROWS_EVENT,DELETE_ROWS_EVENT,分别对应insert,update和delete操作。

    对于insert操作,WRITE_ROWS_EVENT包含了要插入的数据

    对于update操作,UPDATE_ROWS_EVENT不仅包含了修改后的数据,还包含了修改前的值。

    对于delete操作,仅仅需要指定删除的主键(在没有主键的情况下,会给定所有列)

    对于QUERY_EVENT事件,是以文本形式记录DML操作的。而对于ROWS_EVENT事件,并不是文本形式,所以在通过mysqlbinlog查看基于ROW格式的binlog时,需要指定-vv --base64-output=decode-rows。

    XID_EVENT

    在事务提交时,不管是STATEMENT还是ROW格式的binlog,都会在末尾添加一个XID_EVENT事件代表事务的结束。该事件记录了该事务的ID,在MySQL进行崩溃恢复时,根据事务在binlog中的提交情况来决定是否提交存储引擎中状态为prepared的事务。

    ROTATE_EVENT

    当binlog文件的大小达到max_binlog_size的值或者执行flush logs命令时,binlog会发生切换,这个时候会在当前的binlog日志添加一个ROTATE_EVENT事件,用于指定下一个日志的名称和位置。

    STOP_EVENT

    当MySQL数据库停止时,会在当前的binlog末尾添加一个STOP_EVENT事件表示数据库停止。

    备注: 

    sql语句分为3类 (DML DDL  DCL) 

    DDL is Data Definition Language statements. Some examples:数据定义语言,用于定义和管理SQL数据库中的所有对象的语言

    1.CREATE - to create objects in the database 创建

    2.ALTER - alters the structure of the database 修改

    3.DROP - delete objects from the database 删除

    4.TRUNCATE - remove all records from a table, including all spaces allocated for the records are removed

    DML is Data Manipulation Language statements. Some examples:数据操作语言,SQL中处理数据等操作统称为数据操纵语言

    1.SELECT - retrieve data from the a database 查询

    2.INSERT - insert data into a table 添加

    3.UPDATE - updates existing data within a table 更新

    4.DELETE - deletes all records from a table, the space for the records remain 删除

    DCL is Data Control Language statements. Some examples:数据控制语言,用来授予或回收访问数据库的某种特权,并控制数据库操纵事务发生的时间及效果,对数据库实行监视等

    COMMIT - save work done 提交

    SAVEPOINT - identify a point in a transaction to which you can later roll back 保存点

    ROLLBACK - restore database to original since the last COMMIT 回滚

    SET TRANSACTION - Change transaction options like what rollback segment to use 设置当前事务的特性,它对后面的事务没有影响

    相关文章

      网友评论

          本文标题:mysql binglog 二进制日志文件

          本文链接:https://www.haomeiwen.com/subject/vtfudxtx.html