美文网首页
mysql添加分区导致数据库异常

mysql添加分区导致数据库异常

作者: clicsug | 来源:发表于2019-12-13 17:16 被阅读0次

    前段时间在给数据库增加分区时导致了一个异常
    ; uncategorized SQLException for SQL []; SQL state [HY000]; error code [23]; Out of resources when opening file '/export/data/mysql/tmp/ML5P97Os' (Errcode: 24 - Too many open files); nested exception is java.sql.SQLException: Out of resources when opening file '/export/data/mysql/tmp/ML5P97Os' (Errcode: 24 - Too many open files)

    java.sql.SQLException: Failed to read from the .par file
    为什么会导致Too many open files呢?
    加分区的表是个分库分表,添加的分区类型是RANGE分区,按照每月一个分区,一个表建了三年的分区表(36个分区表),数据库一共分了32个库,每个库上64张业务表。
    首先说下mysql数据库会生成哪些文件,假设数据库表A
    如果是MyISAM存储引擎的数据库 会产生三个文件:
    1、A.frm 文件 :记录表结构、字段长度等
    2、A.MYD: 数据信息文件,存储数据信息
    3、A.MYI: 索引信息文件

    如果是InnoDB 会产生以下文件:
    1、A.frm: 记录表结构、字段长度等
    2、如果采用独立表存储模式,data\a中还会产生A.ibd文件(存储数据信息和索引信息)
    3、如果采用共存储模式的,数据信息和索引信息都存储在ibdata1中
    4、如果采用分区存储,data\a中还会有一个A.par文件(用来存储分区信息)

    我们的mysql数据库使用的是Innodb存储引擎,所以每个数据库在创建分区表时,会生成64*36=2304个 .ibd文件,同时也会打开每个表的.par文件 加上数据库原本打开的文件数,超过了设置的可以打开的最大文件数量限制,导致报了错。

    解决办法 调整mysql打开文件数限制,或者减少创建的分区数量。

    查看mysql文件数命令:
    show variables like 'open_files_limit%'
    查看打开文件数命令:
    show status like 'open_files%'
    mysql 常用status变量如下表:

    status Variable_name value 值含义
    Aborted_clients 由于客户没有正确关闭连接,已经丢弃死掉的连接数量
    Aborted_connects 尝试已经丢弃的失败的MySQL服务器的连接的数量
    Connections 试图连接MySQL服务器的次数
    Created_tmp_tables 当执行语句时,已经被创造了的隐含临时表的数量
    Delayed_insert_threads 正在使用的延迟插入处理器线程的数量
    Delayed_writes 用INSERT DELAYED写入的行数
    Delayed_errors 用INSERT DELAYED写入的发生某些错误(可能重复键值)的行数
    Flush_commands 执行FLUSH命令的次数
    Handler_delete 请求从一张表中删除行的次数
    Handler_read_first 请求读入表中第一行的次数
    Handler_read_key 请求数字基于键读行
    Handler_read_next 请求读入基于一个键的一行的次数
    Handler_read_rnd 请求读入基于一个固定位置的一行的次数
    Handler_update 请求更新表中一行的次数
    Handler_write 请求向表中插入一行的次数
    Key_blocks_used 用于关键字缓存的块的数量
    Key_read_requests 请求从缓存读入一个键值的次数
    Key_reads 从磁盘物理读入一个键值的次数
    Key_write_requests 请求将一个关键字块写入缓存次数
    Key_writes 将一个键值块物理写入磁盘的次数
    Max_used_connections 同时使用的连接的最大数目
    Not_flushed_key_blocks 在键缓存中已经改变但是还没被清空到磁盘上的键块
    Not_flushed_delayed_rows 在INSERT DELAY队列中等待写入的行的数量
    Open_tables 打开表的数量
    Open_files 打开文件的数量
    Open_streams 打开流的数量(主要用于日志记载)
    Opened_tables 已经打开的表的数量
    Questions 发往服务器的查询的数量
    Slow_queries 要花超过long_query_time时间的查询数量
    Threads_connected 当前打开的连接的数量
    Threads_running 不在睡眠的线程数量
    Uptime 服务器工作了多少秒

    相关文章

      网友评论

          本文标题:mysql添加分区导致数据库异常

          本文链接:https://www.haomeiwen.com/subject/wxafnctx.html