美文网首页
mysql日志系统

mysql日志系统

作者: 今年五年级 | 来源:发表于2021-10-06 14:53 被阅读0次

    mysql有如下几种不同的日志:

    • 错误日志
    • 二进制日志(Binlog日志)
    • 查询日志
    • 慢查询日志
    • 事务日志(innoDB独有,主要有undo log和redolog)

    错误日志

    记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息,当mysql出现故障导致无法正常启动的时候,可以首先查看此日志

    该日志是默认开启的,默认存放目录是mysql的数据目录(/var/lib/mysql),默认的日志文件名为hostname.err(hostname是主机名)
    查看日志位置指令show variables like 'log_error%'

    然后可以查看日志文件

    二进制日志(binlog日志)

    binlog日志记录了所有的DDL(数据定义语言create table)语句和DML(数据操作语言insert,update,delete)语句,但是不包括数据查询语句。此日志对于数据容灾恢复极其重要,mysql的主从复制基于binlog实现

    binlog日志默认没有开启,需要到mysql的配置文件中开启,并配置mysql日志的格式
    windows下的mysql配置文件my.ini,linux下的mysql配置文件my.cnf,示例在windows的my.ini结尾处添加如下配置

    # 配置开启binlog日志,日志的文件前缀为mysqlbin即生成的binlog文件名格式如:mysqlbin.00001,mysqlbin.00002
    log_bin=mysqlbin
    
    # 配置binlog日志的格式
    binlog_format=STATEMENT
    

    binlog日志的格式

    • STATEMENT
      -该日志格式在日志文件中记录的都是SQL语句(statement),每一条对数据进行修改的sql都会记录在日志文件中,通过mysql提供的mysqlbinlog工具,可以清晰的查看到每条语句的文本。主从复制的时候,从库slave会将日志解析为原文本,并在从库中重新执行一遍
    • ROW
      该日志格式在日志文件中记录的是每一行的数据变更,而不是记录sql语句。比如,执行sql语句:update tb_test set status=1,如果是STATAMENT日志格式,在日志中会记录一行sql,如果是ROW,由于是对全表进行更新,所以每一行记录都会发生变更,ROW格式中会记录每一行的数据变更
    • MIXED
      这是目前mysql默认的日志格式,即混合了STATEMENT和ROW两种格式,默认情况下使用STATEMENT,但是在一些特殊情况下采用ROW来进行记录,MIXED格式能尽量利用两种模式的优点,而避开他们的缺点

    查看STATEMENT格式日志
    配置如上,然后重启mysql服务,linux下service mysql restart
    然后选择如下表

    添加一行记录
    insert into employees values(null,'JERRY',18,'dev','2020-08-13 22:20:02')

    添加成功以后查看binlog日志文件,默认存储在mysql的数据目录下,如下图的红圈部分就是mysql的binglog文件

    mysqlbin.index:该文件是日志索引文件,记录当前包含了几个binlog文件,日志名是什么

    mysqlbinlog.000001:具体的binlog日志文件,直接打开是无法查看的,因为数据的存储形式是二进制,因此我们需要使用mysqlbinlog工具来查看,格式mysqlbinlog 日志名:
    mysqlbinlog mysqlbin.000001
    其他都是注释信息,只需要看红框中的这一行sql语句即可

    查看ROW格式日志
    将上面添加的配置中的binlog_format更改为ROW
    然后执行更新语句update employees set position='test'
    将上面表中所有人的岗位更新为test,然后来查看日志更新,发现多了mysqlbin.000002文件

    然后通过mysqlbinlog mysqlbin.000002查看文件

    发现红框中的日志并不是我们期望的update类型的能看懂的数据,因此我们重新使用mysqlbinlog -vv mysqlbin.000002来查看

    对于InnoDB引擎而言,在每次事务commit提交时才会记录bin log日志,此时记录仍然在内存中,那么什么时候存储到磁盘中呢?
    mysql通过sync_binlog参数控制bin log刷盘时机,取值范围:0~N

    • 0:不去强求,由系统自行判断何时写入磁盘;
    • 1:每次事务commit的时候都要将bin log写入磁盘;
    • N:每N个事务commit,才会将bin log写入磁盘;
      sync_binlog 参数建议设置为1,这样每次事务commit时就会把bin log写入磁盘中,这样也可以保证mysql异常重启之后bin log日志不会丢失

    日志删除
    对于比较繁忙的时候,由于每天生成日志量大,这些日志如果长时间不清除,将会占用大量磁盘空间,下面是集中删除日志的方式

    方式1:通过Reset Master指令删除全部binlog日志,删除之后,日志编号,将从xxxx.000001重新开始,会重新生成一个xxxx.000001的空日志文件

    Reset Master

    方式2:执行指令purge master logs to 'mysqlbin ******',该命令将删除******编号之前的所有日志

    方式3:执行指令purge master logs before 'yyyy-mm-dd hh24:mi:ss',该命令将删除日志为"yyyy-mm-dd hh24:mi:ss“之前产生的所有日志

    方式4:设置参数--expire_logs_days=#,此参数的含义是设置日志的过期天数,过了指定的天数后日志将会被自动删除,配置如下:

    log_bin=mysqlbin
    binlog_format=MIXED
    --expire_logs_days=3
    

    查询日志

    查询日志中记录了客户端的所有操作语句,而binlog日志中不包含查询的sql语句,默认情况下,查询日志未开启,如果需要开启查询日志,windows中my.ini,linux中my.cnf中添加如下配置

    # 该选项用于开启查询日志, 0关闭 1开启
    general_log=1
    # 设置查询日志的文件名,缺省情况下为host_name.log
    general_log_file=mysql_query.log
    

    配置完毕,在mysql数据库中执行修改查询操作

    select * from employees;
    select count(*) from employees;
    update employees set position='dev'
    

    然后在mysql的数据目录下(刚刚存放binlog日志的地方)

    可以在里面看到刚刚执行的所有sql语句

    慢查询日志

    慢查询日志记录了所有执行时间超过参数long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的sql语句的日志,long_query_time默认为10秒,最小为0秒,精度可以到微秒。默认情况下慢查询日志未开启,需要我们手动修改配置文件开启,修改配置如下

    # 该参数是用来控制慢查询日志是否开启,1开启 0关闭
    slow_query_log=1
    # 该参数用来指定慢查询日志的文件名
    slow_query_log_file=slow_query.log
    # 该选项用来配置查询的时间限制,超过这个时间将被认为是慢查询,将需要进行日志记录,默认为10秒
    long_query_time=2
    

    上面配置完以后,会默认生成一个空的慢查询日志文件

    和错误日志,查询日志一样,慢查询日志记录的格式也是纯文本,可以直接读取

    1. 查询我们刚刚设置的long_query_time的值
      show variables like 'long_query_time'
    1. 模拟插入30w+条数据到tb_item测试表,然后执行查询全部和like模糊查询,查看慢查询日志

    上面是直接通过mysql的日志内容查看的,我们也可以使用mysqldumpslow命令来查看该日志文件

    redo log(重做日志)

    mysql的 InnoDB 引擎使用redo log来实现事务的ACID中的D:持久性

    InnoDB作为MySQL的存储引擎,数据是存放在磁盘中的,但如果每次读写数据都需要磁盘IO,效率会很低。为此,InnoDB提供了缓冲池(Buffer Pool),Buffer Pool中包含了磁盘中部分数据页的映射,作为访问数据库的缓存:当从数据库读取数据时,会首先从Buffer Pool中读取,如果Buffer Pool中没有,则从磁盘读取后放入Buffer Pool;
    当向数据库写入数据时,会首先写入Buffer Pool,Buffer Pool中修改的数据会定期刷新到磁盘中(这一过程称为刷脏)

    Buffer Pool的使用大大提高了读写数据的效率,但是也带了新的问题:如果MySQL宕机,而此时Buffer Pool中修改的数据还没有刷新到磁盘,就会导致数据的丢失,事务的持久性无法保证

    于是,redo log 被引入来解决这个问题:当数据修改时,除了修改Buffer Pool中的数据,还会在 redo log 记录已成功提交事务的修改信息;当事务提交时,会调用fsync接口对redo log进行刷盘。如果MySQL宕机,重启时可以读取redo log中的数据,对数据库进行恢复。

    start transaction;
    select balance from bank where name="zhangsan";
    // 生成 重做日志 balance=600
    update bank set balance = balance - 400; 
    // 生成 重做日志 amount=400
    update finance set amount = amount + 400;
    commit;
    

    既然 redo log 也需要在事务提交时将日志写入磁盘,为什么它比直接将Buffer Pool中修改的数据写入磁盘(即刷脏)要快呢?主要有以下两方面的原因:

    • 刷脏是随机IO,因为每次修改的数据位置随机,但写redo log是追加操作,属于顺序IO。
    • 刷脏是以数据页(Page)为单位的,MySQL默认页大小是16KB,一个Page上一个小修改都要整页写入;而redo log中只包含真正需要写入的部分,无效IO大大减少

    undo log(回滚日志)

    保证事务ACID中的A:原子性
    undo log 叫做回滚日志,用于记录数据被修改前的信息。他正好跟前面所说的重做日志所记录的相反,重做日志记录数据被修改后的信息。undo log主要记录的是数据的逻辑变化,为了在发生错误时回滚之前的操作,需要将之前的操作都记录下来,然后在发生错误时才可以回滚。

    https://www.cnblogs.com/goloving/p/15145138.html
    https://www.jianshu.com/p/366a79ee1417/
    https://xie.infoq.cn/article/0e5507eca03de807854a9c6dc

    相关文章

      网友评论

          本文标题:mysql日志系统

          本文链接:https://www.haomeiwen.com/subject/ldkonltx.html