8. 日志

1. 日志

日志
事务日志 transaction log
中继日志 reley log
错误日志 error log
通用日志 general log
慢查询日志 slow query log
二进制日志 binary log

事务日志

事务日志：transaction log
事务型存储引擎自行管理和使用，建议和数据文件分开存放
redo log
undo log
Innodb事务日志相关配置：
show variables like '%innodb_log%';
innodb_log_file_size 5242880 每个日志文件大小
innodb_log_files_in_group 2 日志组成员个数
innodb_log_group_home_dir ./ 事务文件路径
中继日志：relay log
主从复制架构中，从服务器用于保存从主服务器的二进制日志中读取的事件

MariaDB [hellodb]> show variables like '%innodb_log%';
+---------------------------+---------+
| Variable_name             | Value   |
+---------------------------+---------+
| innodb_log_block_size     | 512     |
| innodb_log_buffer_size    | 8388608 |
| innodb_log_file_size      | 5242880 |
| innodb_log_files_in_group | 2       |
| innodb_log_group_home_dir | ./      |
+---------------------------+---------+

错误日志

错误日志
mysqld启动和关闭过程中输出的事件信息
mysqld运行中产生的错误信息
event scheduler运行一个event时产生的日志信息
在主从复制架构中的从服务器上启动从服务器线程时产生的信息
错误日志相关配置
SHOW GLOBAL VARIABLES LIKE 'log_error'
错误文件路径
log_error=/PATH/TO/LOG_ERROR_FILE
是否记录警告信息至错误日志文件
log_warnings=1|0 默认值1

MariaDB [hellodb]> show variables like 'log_error';
+---------------+------------------------------+
| Variable_name | Value                        |
+---------------+------------------------------+
| log_error     | /var/log/mariadb/mariadb.log |
+---------------+------------------------------+

设置日志目录
加权限重新启动设置成功

通用日志

通用日志：记录对数据库的通用操作，包括错误的SQL语句
文件：file，默认值
表：table
通用日志相关设置
general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output=TABLE|FILE|NONE

慢查询日志

慢查询日志：记录执行查询时长超出指定时长的操作
slow_query_log=ON|OFF 开启或关闭慢查询
long_query_time=N 慢查询的阀值，单位秒(10s)
slow_query_log_file=HOSTNAME-slow.log 慢查询日志文件
log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk

上述查询类型且查询时长超过long_query_time，则记录日志
log_queries_not_using_indexes=ON 不使用索引或使用全索引扫描，不论
是否达到慢查询阀值的语句是否记录日志，默认OFF，即不记录
log_slow_rate_limit = 1 多少次查询才记录，mariadb特有
log_slow_verbosity= Query_plan,explain 记录内容
log_slow_queries = OFF 同slow_query_log 新版已废弃

profing 查看命令执行

MariaDB [hellodb]> set profiling=on;
Query OK, 0 rows affected (0.00 sec)

MariaDB [hellodb]> select count(*) from testlog;
+----------+
| count(*) |
+----------+
|    99999 |
+----------+
1 row in set (0.01 sec)

MariaDB [hellodb]> select * from testlog where name='wang10000';
+-------+-----------+-------+
| id    | name      | age   |
+-------+-----------+-------+
| 10000 | wang10000 | 10000 |
+-------+-----------+-------+
1 row in set (0.00 sec)

MariaDB [hellodb]> show profiles;
+----------+------------+----------------------------------------------+
| Query_ID | Duration   | Query                                        |
+----------+------------+----------------------------------------------+
|        1 | 0.00936528 | select count(*) from testlog                 |
|        2 | 0.00032622 | select * from testlog where name='wang10000' |
+----------+------------+----------------------------------------------+
2 rows in set (0.00 sec)

# 执行命令的详细过程
MariaDB [hellodb]> show profile for query 2;   
+--------------------------------+----------+
| Status                         | Duration |
+--------------------------------+----------+
| starting                       | 0.000015 |
| Waiting for query cache lock   | 0.000002 |
| checking query cache for query | 0.000022 |
| checking permissions           | 0.000004 |
| Opening tables                 | 0.000008 |
| After opening tables           | 0.000003 |
| System lock                    | 0.000002 |
| Table lock                     | 0.000002 |
| After table lock               | 0.000003 |
| Waiting for query cache lock   | 0.000001 |
| After table lock               | 0.000010 |
| init                           | 0.000013 |
| optimizing                     | 0.000007 |
| statistics                     | 0.000104 |
| preparing                      | 0.000011 |
| executing                      | 0.000002 |
| Sending data                   | 0.000067 |
| end                            | 0.000004 |
| query end                      | 0.000003 |
| closing tables                 | 0.000005 |
| freeing items                  | 0.000017 |
| updating status                | 0.000004 |
| Waiting for query cache lock   | 0.000002 |
| updating status                | 0.000006 |
| Waiting for query cache lock   | 0.000001 |
| updating status                | 0.000001 |
| storing result in query cache  | 0.000004 |
| cleaning up                    | 0.000002 |
+--------------------------------+----------+

可以利用事务提升效率；

二进制日志

二进制日志
记录导致数据改变或潜在导致数据改变的SQL语句
记录已提交的日志
不依赖于存储引擎类型
功能：通过“重放”日志文件中的事件来生成数据副本
注意：建议二进制日志和数据文件分开存放

二进制日志记录格式
二进制日志记录三种格式
基于“语句”记录：statement，记录语句，默认模式
基于“行”记录：row，记录数据，日志量较大
混合模式：mixed, 让系统自行判定该基于哪种方式进行
格式配置
show variables like ‘binlog_format';
二进制日志文件的构成
有两类文件
日志文件：mysql|mariadb-bin.文件名后缀，二进制格式
如： mariadb-bin.000001
索引文件：mysql|mariadb-bin.index，文本格式

二进制日志相关的服务器变量：
sql_log_bin=ON|OFF：是否记录二进制日志，默认ON
log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默认OFF，表示不启用二
进制日志功能，上述两项都开启才可
binlog_format=STATEMENT|ROW|MIXED：二进制日志记录的格式，默认
STATEMENT
max_binlog_size=1073741824：单个二进制日志文件的最大体积，到达最
大值会自动滚动，默认为1G
说明：文件达到上限时的大小未必为指定的精确值
sync_binlog=1|0：设定是否启动二进制日志即时同步磁盘功能，默认0，由
操作系统负责同步日志到磁盘
expire_logs_days=N：二进制日志可以自动删除的天数。 默认为0，即不自
动删除（备份后再删除）

# 查看二进制日志文件； 等价
MariaDB [hellodb]> show binary logs;
MariaDB [hellodb]> show master logs;

set sql_log_bin=ON; 启用二进制日志；

MariaDB [hellodb]> truncate table testlog;   # 清理日志文件；

二进制日志相关配置
查看mariadb自行管理使用中的二进制日志文件列表，及大小
SHOW {BINARY | MASTER} LOGS
查看使用中的二进制日志文件
SHOW MASTER STATUS
查看二进制文件中的指定内容
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT
[offset,] row_count]
show binlog events in ‘mysql-bin.000001' from 6516 limit 2,3

查看日志

 mysqlbinlog：二进制日志的客户端命令工具
 命令格式：
mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定开始位置
--stop-position=#
--start-datetime=
--stop-datetime=
时间格式：YYYY-MM-DD hh:mm:ss
--base64-output[=name]
-v -vvv
示例：mysqlbinlog --start-position=6787 --stop-position=7527
/var/lib/mysql/mariadb-bin.000003 -v
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop�datetime="2018-01-30 20:35:22" mariadb-bin.000003 -vvv

二进制文件和数据库文件分离存放，可以进行数据库的还原；

清除指定二进制日志：
PURGE { BINARY | MASTER } LOGS
{ TO 'log_name' | BEFORE datetime_expr }
示例：
PURGE BINARY LOGS TO ‘mariadb-bin.000003’;删除3之前的日志
PURGE BINARY LOGS BEFORE '2017-01-23';
PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';
删除所有二进制日志，index文件重新记数
RESET MASTER [TO #]; 删除所有二进制日志文件，并重新生成日志文
件，文件名从#开始记数，默认从1开始，一般是master主机第一次启动时执行，
MariaDB10.1.6开始支持TO #
切换日志文件：
FLUSH LOGS;