美文网首页
MySQL索引原理及慢查询优化--整理

MySQL索引原理及慢查询优化--整理

作者: 10xjzheng | 来源:发表于2017-09-25 17:18 被阅读101次

    摘自:
    MySQL索引原理及慢查询优化
    MySQL EXPLAIN详解

    1 索引是什么

    索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑。索引的作用相当于图书的目录,可以根据目录快速找到所需的内容。
    索引提供指向存储在表的指定列中的数据值的指针,然后根据您指定的排序顺序对这些指针排序----《百度百科》

    2 用什么索引策略

    目的,一个字---快。

    2.1 分段索引

    分段索引——最简单的如果1000条数据,1到100分成第一段,101到200分成第二段,201到300分成第三段......这样查第250条数据,只要找第三段就可以了,一下子去除了90%的无效数据。但如果是1千万的记录呢,分成几段比较好?稍有算法基础的同学会想到搜索树,其平均复杂度是lgN,具有不错的查询性能。但这里我们忽略了一个关键的问题,复杂度模型是基于每次相同的操作成本来考虑的,数据库实现比较复杂,数据保存在磁盘上,而为了提高性能,每次又可以把部分数据读入内存来计算,因为我们知道访问磁盘的成本大概是访问内存的十万倍左右,所以简单的搜索树难以满足复杂的应用场景。

    2.2 磁盘IO与预读

    磁盘读取数据靠的是机械运动,每次读取数据花费的时间可以分为寻道时间、旋转延迟、传输时间三个部分,寻道时间指的是磁臂移动到指定磁道所需要的时间,主流磁盘一般在5ms以下;旋转延迟就是我们经常听说的磁盘转速,比如一个磁盘7200转,表示每分钟能转7200次,也就是说1秒钟能转120次,旋转延迟就是1/120/2 = 4.17ms;传输时间指的是从磁盘读出或将数据写入磁盘的时间,一般在零点几毫秒,相对于前两个时间可以忽略不计。那么访问一次磁盘的时间,即一次磁盘IO的时间约等于5+4.17 = 9ms左右,听起来还挺不错的,但要知道一台500 -MIPS的机器每秒可以执行5亿条指令,因为指令依靠的是电的性质,换句话说执行一次IO的时间可以执行40万条指令,数据库动辄十万百万乃至千万级数据,每次9毫秒的时间,显然是个灾难。

    考虑到磁盘IO是非常高昂的操作,计算机操作系统做了一些优化,当一次IO时,不光把当前磁盘地址的数据,而是把相邻的数据也都读取到内存缓冲区内,因为局部预读性原理告诉我们,当计算机访问一个地址的数据的时候,与其相邻的数据也会很快被访问到。每一次IO读取的数据我们称之为一页(page)。具体一页有多大数据跟操作系统有关,一般为4k或8k,也就是我们读取一页内的数据时候,实际上才发生了一次IO,这个理论对于索引的数据结构设计非常有帮助。

    2.3 索引的数据结构--b+树

    我们现在总结一下,我们需要这种数据结构能够做些什么,其实很简单,那就是:每次查找数据时把磁盘IO次数控制在一个很小的数量级,最好是常数数量级。那么我们就想到如果一个高度可控的多路搜索树是否能满足需求呢?就这样,b+树应运而生。


    image.png

    如上图,是一颗b+树,关于b+树的定义可以参见B+树,这里只说一些重点,浅蓝色的块我们称之为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),如磁盘块1包含数据项17和35,包含指针P1、P2、P3,P1表示小于17的磁盘块,P2表示在17和35之间的磁盘块,P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据,只存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。

    2.4 b+树的查找过程

    如图所示,如果要查找数据项29,那么首先会把磁盘块1由磁盘加载到内存,此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间因为非常短(相比磁盘的IO)可以忽略不计,通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,同时内存中做二分查找找到29,结束查询,总计三次IO。真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。

    2.5 b+树性质

    1.通过上面的分析,我们知道IO次数取决于b+树的高度h,假设当前数据表的数据为N,每个磁盘块的数据项的数量是m,则有h=㏒(m+1)N(m+1是下标),当数据量N一定的情况下,m越大,h越小;而m = 磁盘块的大小 / 数据项的大小,磁盘块的大小也就是一个数据页的大小,是固定的,如果数据项占的空间越小,数据项的数量越多,树的高度越低。这就是为什么每个数据项,即索引字段要尽量的小,比如int占4字节,要比bigint8字节少一半。这也是为什么b+树要求把真实的数据放到叶子节点而不是内层节点,一旦放到内层节点,磁盘块的数据项会大幅度下降,导致树增高。当数据项等于1时将会退化成线性表。

    2.当b+树的数据项是复合的数据结构,比如(name,age,sex)的时候,b+数是按照从左到右的顺序来建立搜索树的,比如当(张三,20,F)这样的数据来检索的时候,b+树会优先比较name来确定下一步的所搜方向,如果name相同再依次比较age和sex,最后得到检索的数据;但当(20,F)这样的没有name的数据来的时候,b+树就不知道下一步该查哪个节点,因为建立搜索树的时候name就是第一个比较因子,必须要先根据name来搜索才能知道下一步去哪里查询。比如当(张三,F)这样的数据来检索时,b+树可以用name来指定搜索方向,但下一个字段age的缺失,所以只能把名字等于张三的数据都找到,然后再匹配性别是F的数据了, 这个是非常重要的性质,即索引的最左匹配特性。

    3 慢查询优化
    3.1 建索引的几大原则

    1.最左前缀匹配原则 非常重要的原则,mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。

    2.=和in可以乱序 比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式

    3.尽量选择区分度高的列作为索引 区分度的公式是count(distinct col)/count(*) 表示字段不重复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问,这个比例有什么经验值吗?使用场景不同,这个值也很难确定,一般需要join的字段我们都要求是0.1以上,即平均1条扫描10条记录;

    4.索引列不能参与计算,保持列“干净”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很简单,b+树中存的都是数据表中的字段值,但进行检索时,需要把所有元素都应用函数才能比较,显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);

    5.尽量的扩展索引,不要新建索引 比如表中已经有a的索引,现在要加(a,b)的索引,那么只需要修改原来的索引即可

    3.2 查询优化神器 - explain命令
    3.2.1 慢查询优化基本步骤
    • 0.先运行看看是否真的很慢,注意设置SQL_NO_CACHE
    • 1.where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起,单表每个字段分别查询,看哪个字段的区分度最高
    • 2.explain查看执行计划,是否与1预期一致(从锁定记录较少的表开始查询)
    • 3.order by limit 形式的sql语句让排序的表优先查
    • 4.了解业务方使用场景
    • 5.加索引时参照建索引的几大原则
    • 6.观察结果,不符合预期继续从0分析
    3.2.2 explain 的重要参数
    image.png

    id
    id是用来顺序标识整个查询中SELELCT 语句的,在嵌套查询中id越大的语句越先执行。该值可能为NULL,如果这一行用来说明的是其他行的联合结果。

    select_type
    表示查询的类型

    image.png

    table
    对应行正在访问哪一个表,表名或者别名
    关联优化器会为查询选择关联顺序,左侧深度优先
    当from中有子查询的时候,表名是derivedN的形式,N指向子查询,也就是explain结果中的下一列
    当有union result的时候,表名是union 1,2等的形式,1,2表示参与union的query id
    注意:MySQL对待这些表和普通表一样,但是这些“临时表”是没有任何索引的。

    type
    type显示的是访问类型,是较为重要的一个指标,结果值从好到坏依次是:
    system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL ,一般来说,得保证查询至少达到range级别,最好能达到ref。

    image.png

    possible_keys

    显示查询使用了哪些索引,表示该索引可以进行高效地查找,但是列出来的索引对于后续优化过程可能是没有用的

    key

    key列显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引,在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。

    key_len

    key_len列显示MySQL决定使用的键长度。如果键是NULL,则长度为NULL。使用的索引的长度。在不损失精确性的情况下,长度越短越好 。

    ref

    ref列显示使用哪个列或常数与key一起从表中选择行。

    rows

    rows列显示MySQL认为它执行查询时必须检查的行数。注意这是一个预估值。

    Extra

    Extra是EXPLAIN输出中另外一个很重要的列,该列显示MySQL在查询过程中的一些详细信息,MySQL查询优化器执行查询的过程中对查询计划的重要补充信息。

    image.png
    3.3 例子

    下面几个例子详细解释了如何分析和优化慢查询

    复杂语句写法
    很多情况下,我们写SQL只是为了实现功能,这只是第一步,不同的语句书写方式对于效率往往有本质的差别,这要求我们对mysql的执行计划和索引原则有非常清楚的认识,请看下面的语句

    select
       distinct cert.emp_id 
    from
       cm_log cl 
    inner join
       (
          select
             emp.id as emp_id,
             emp_cert.id as cert_id 
          from
             employee emp 
          left join
             emp_certificate emp_cert 
                on emp.id = emp_cert.emp_id 
          where
             emp.is_deleted=0
       ) cert 
          on (
             cl.ref_table='Employee' 
             and cl.ref_oid= cert.emp_id
          ) 
          or (
             cl.ref_table='EmpCertificate' 
             and cl.ref_oid= cert.cert_id
          ) 
    where
       cl.last_upd_date >='2013-11-07 15:03:00' 
       and cl.last_upd_date<='2013-11-08 16:00:00';
    

    0.先运行一下,53条记录 1.87秒,又没有用聚合语句,比较慢

    53 rows in set (1.87 sec)
    1.explain

    +----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+
    | id | select_type | table      | type  | possible_keys                   | key                   | key_len | ref               | rows  | Extra                          |
    +----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+
    |  1 | PRIMARY     | cl         | range | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date     | 8       | NULL              |   379 | Using where; Using temporary   |
    |  1 | PRIMARY     | <derived2> | ALL   | NULL                            | NULL                  | NULL    | NULL              | 63727 | Using where; Using join buffer |
    |  2 | DERIVED     | emp        | ALL   | NULL                            | NULL                  | NULL    | NULL              | 13317 | Using where                    |
    |  2 | DERIVED     | emp_cert   | ref   | emp_certificate_empid           | emp_certificate_empid | 4       | meituanorg.emp.id |     1 | Using index                    |
    +----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+
    

    简述一下执行计划,首先mysql根据idx_last_upd_date索引扫描cm_log表获得379条记录;然后查表扫描了63727条记录,分为两部分,derived表示构造表,也就是不存在的表,可以简单理解成是一个语句形成的结果集,后面的数字表示语句的ID。derived2表示的是ID = 2的查询构造了虚拟表,并且返回了63727条记录。我们再来看看ID = 2的语句究竟做了写什么返回了这么大量的数据,首先全表扫描employee表13317条记录,然后根据索引emp_certificate_empid关联emp_certificate表,rows = 1表示,每个关联都只锁定了一条记录,效率比较高。获得后,再和cm_log的379条记录根据规则关联。从执行过程上可以看出返回了太多的数据,返回的数据绝大部分cm_log都用不到,因为cm_log只锁定了379条记录。
    如何优化呢?可以看到我们在运行完后还是要和cm_log做join,那么我们能不能之前和cm_log做join呢?仔细分析语句不难发现,其基本思想是如果cm_log的ref_table是EmpCertificate就关联emp_certificate表,如果ref_table是Employee就关联employee表,我们完全可以拆成两部分,并用union连接起来,注意这里用union,而不用union all是因为原语句有“distinct”来得到唯一的记录,而union恰好具备了这种功能。如果原语句中没有distinct不需要去重,我们就可以直接使用union all了,因为使用union需要去重的动作,会影响SQL性能。
    优化过的语句如下

    select
       emp.id 
    from
       cm_log cl 
    inner join
       employee emp 
          on cl.ref_table = 'Employee' 
          and cl.ref_oid = emp.id  
    where
       cl.last_upd_date >='2013-11-07 15:03:00' 
       and cl.last_upd_date<='2013-11-08 16:00:00' 
       and emp.is_deleted = 0  
    union
    select
       emp.id 
    from
       cm_log cl 
    inner join
       emp_certificate ec 
          on cl.ref_table = 'EmpCertificate' 
          and cl.ref_oid = ec.id  
    inner join
       employee emp 
          on emp.id = ec.emp_id  
    where
       cl.last_upd_date >='2013-11-07 15:03:00' 
       and cl.last_upd_date<='2013-11-08 16:00:00' 
       and emp.is_deleted = 0
    

    4.不需要了解业务场景,只需要改造的语句和改造之前的语句保持结果一致

    5.现有索引可以满足,不需要建索引

    6.用改造后的语句实验一下,只需要10ms 降低了近200倍!

    +----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
    | id | select_type  | table      | type   | possible_keys                   | key               | key_len | ref                   | rows | Extra       |
    +----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
    |  1 | PRIMARY      | cl         | range  | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date | 8       | NULL                  |  379 | Using where |
    |  1 | PRIMARY      | emp        | eq_ref | PRIMARY                         | PRIMARY           | 4       | meituanorg.cl.ref_oid |    1 | Using where |
    |  2 | UNION        | cl         | range  | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date | 8       | NULL                  |  379 | Using where |
    |  2 | UNION        | ec         | eq_ref | PRIMARY,emp_certificate_empid   | PRIMARY           | 4       | meituanorg.cl.ref_oid |    1 |             |
    |  2 | UNION        | emp        | eq_ref | PRIMARY                         | PRIMARY           | 4       | meituanorg.ec.emp_id  |    1 | Using where |
    | NULL | UNION RESULT | <union1,2> | ALL    | NULL                            | NULL              | NULL    | NULL                  | NULL |             |
    +----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
    53 rows in set (0.01 sec)
    

    明确应用场景
    举这个例子的目的在于颠覆我们对列的区分度的认知,一般上我们认为区分度越高的列,越容易锁定更少的记录,但在一些特殊的情况下,这种理论是有局限性的

    select
       * 
    from
       stage_poi sp 
    where
       sp.accurate_result=1 
       and (
          sp.sync_status=0 
          or sp.sync_status=2 
          or sp.sync_status=4
       );
    

    0.先看看运行多长时间,951条数据6.22秒,真的很慢

    951 rows in set (6.22 sec)
    1.先explain,rows达到了361万,type = ALL表明是全表扫描

    +----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows    | Extra       |
    +----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
    |  1 | SIMPLE      | sp    | ALL  | NULL          | NULL | NULL    | NULL | 3613155 | Using where |
    +----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
    

    2.所有字段都应用查询返回记录数,因为是单表查询 0已经做过了951条

    3.让explain的rows 尽量逼近951

    看一下accurate_result = 1的记录数

    select count(*),accurate_result from stage_poi  group by accurate_result;
    +----------+-----------------+
    | count(*) | accurate_result |
    +----------+-----------------+
    |     1023 |              -1 |
    |  2114655 |               0 |
    |   972815 |               1 |
    +----------+-----------------+
    

    我们看到accurate_result这个字段的区分度非常低,整个表只有-1,0,1三个值,加上索引也无法锁定特别少量的数据

    再看一下sync_status字段的情况

    select count(*),sync_status from stage_poi  group by sync_status;
    +----------+-------------+
    | count(*) | sync_status |
    +----------+-------------+
    |     3080 |           0 |
    |  3085413 |           3 |
    +----------+-------------+
    

    同样的区分度也很低,根据理论,也不适合建立索引

    问题分析到这,好像得出了这个表无法优化的结论,两个列的区分度都很低,即便加上索引也只能适应这种情况,很难做普遍性的优化,比如当sync_status 0、3分布的很平均,那么锁定记录也是百万级别的

    4.找业务方去沟通,看看使用场景。业务方是这么来使用这个SQL语句的,每隔五分钟会扫描符合条件的数据,处理完成后把sync_status这个字段变成1,五分钟符合条件的记录数并不会太多,1000个左右。了解了业务方的使用场景后,优化这个SQL就变得简单了,因为业务方保证了数据的不平衡,如果加上索引可以过滤掉绝大部分不需要的数据

    5.根据建立索引规则,使用如下语句建立索引

    alter table stage_poi add index idx_acc_status(accurate_result,sync_status);
    

    6.观察预期结果,发现只需要200ms,快了30多倍。

    952 rows in set (0.20 sec)
    我们再来回顾一下分析问题的过程,单表查询相对来说比较好优化,大部分时候只需要把where条件里面的字段依照规则加上索引就好,如果只是这种“无脑”优化的话,显然一些区分度非常低的列,不应该加索引的列也会被加上索引,这样会对插入、更新性能造成严重的影响,同时也有可能影响其它的查询语句。所以我们第4步调差SQL的使用场景非常关键,我们只有知道这个业务场景,才能更好地辅助我们更好的分析和优化查询语句。

    无法优化的语句

    select
       c.id,
       c.name,
       c.position,
       c.sex,
       c.phone,
       c.office_phone,
       c.feature_info,
       c.birthday,
       c.creator_id,
       c.is_keyperson,
       c.giveup_reason,
       c.status,
       c.data_source,
       from_unixtime(c.created_time) as created_time,
       from_unixtime(c.last_modified) as last_modified,
       c.last_modified_user_id  
    from
       contact c  
    inner join
       contact_branch cb 
          on  c.id = cb.contact_id  
    inner join
       branch_user bu 
          on  cb.branch_id = bu.branch_id 
          and bu.status in (
             1,
          2)  
       inner join
          org_emp_info oei 
             on  oei.data_id = bu.user_id 
             and oei.node_left >= 2875 
             and oei.node_right <= 10802 
             and oei.org_category = - 1  
       order by
          c.created_time desc  limit 0 ,
          10;
    

    还是几个步骤
    0.先看语句运行多长时间,10条记录用了13秒,已经不可忍受

    10 rows in set (13.06 sec)
    1.explain

    +----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+
    | id | select_type | table | type   | possible_keys                       | key                     | key_len | ref                      | rows | Extra                                        |
    +----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+
    |  1 | SIMPLE      | oei   | ref    | idx_category_left_right,idx_data_id | idx_category_left_right | 5       | const                    | 8849 | Using where; Using temporary; Using filesort |
    |  1 | SIMPLE      | bu    | ref    | PRIMARY,idx_userid_status           | idx_userid_status       | 4       | meituancrm.oei.data_id   |   76 | Using where; Using index                     |
    |  1 | SIMPLE      | cb    | ref    | idx_branch_id,idx_contact_branch_id | idx_branch_id           | 4       | meituancrm.bu.branch_id  |    1 |                                              |
    |  1 | SIMPLE      | c     | eq_ref | PRIMARY                             | PRIMARY                 | 108     | meituancrm.cb.contact_id |    1 |                                              |
    +----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+
    

    从执行计划上看,mysql先查org_emp_info表扫描8849记录,再用索引idx_userid_status关联branch_user表,再用索引idx_branch_id关联contact_branch表,最后主键关联contact表。
    rows返回的都非常少,看不到有什么异常情况。我们在看一下语句,发现后面有order by + limit组合,会不会是排序量太大搞的?于是我们简化SQL,去掉后面的order by 和 limit,看看到底用了多少记录来排序

    select
      count(*)
    from
       contact c  
    inner join
       contact_branch cb 
          on  c.id = cb.contact_id  
    inner join
       branch_user bu 
          on  cb.branch_id = bu.branch_id 
          and bu.status in (
             1,
          2)  
       inner join
          org_emp_info oei 
             on  oei.data_id = bu.user_id 
             and oei.node_left >= 2875 
             and oei.node_right <= 10802 
             and oei.org_category = - 1  
    
    +----------+
    | count(*) |
    +----------+
    |   778878 |
    +----------+
    1 row in set (5.19 sec)
    

    发现排序之前居然锁定了778878条记录,如果针对70万的结果集排序,将是灾难性的,怪不得这么慢,那我们能不能换个思路,先根据contact的created_time排序,再来join会不会比较快呢?
    于是改造成下面的语句,也可以用straight_join来优化

    select
    c.id,
    c.name,
    c.position,
    c.sex,
    c.phone,
    c.office_phone,
    c.feature_info,
    c.birthday,
    c.creator_id,
    c.is_keyperson,
    c.giveup_reason,
    c.status,
    c.data_source,
    from_unixtime(c.created_time) as created_time,
    from_unixtime(c.last_modified) as last_modified,
    c.last_modified_user_id
    from
    contact c
    where
    exists (
    select
    1
    from
    contact_branch cb
    inner join
    branch_user bu
    on cb.branch_id = bu.branch_id
    and bu.status in (
    1,
    2)
    inner join
    org_emp_info oei
    on oei.data_id = bu.user_id
    and oei.node_left >= 2875
    and oei.node_right <= 10802
    and oei.org_category = - 1
    where
    c.id = cb.contact_id
    )
    order by
    c.created_time desc limit 0 ,
    10;
    

    验证一下效果 预计在1ms内,提升了13000多倍!

    10 rows in set (0.00 sec)
    本以为至此大工告成,但我们在前面的分析中漏了一个细节,先排序再join和先join再排序理论上开销是一样的,为何提升这么多是因为有一个limit!大致执行过程是:mysql先按索引排序得到前10条记录,然后再去join过滤,当发现不够10条的时候,再次去10条,再次join,这显然在内层join过滤的数据非常多的时候,将是灾难的,极端情况,内层一条数据都找不到,mysql还傻乎乎的每次取10条,几乎遍历了这个数据表!
    用不同参数的SQL试验下
    
    select
       sql_no_cache   c.id,
       c.name,
       c.position,
       c.sex,
       c.phone,
       c.office_phone,
       c.feature_info,
       c.birthday,
       c.creator_id,
       c.is_keyperson,
       c.giveup_reason,
       c.status,
       c.data_source,
       from_unixtime(c.created_time) as created_time,
       from_unixtime(c.last_modified) as last_modified,
       c.last_modified_user_id    
    from
       contact c   
    where
       exists (
          select
             1        
          from
             contact_branch cb         
          inner join
             branch_user bu                     
                on  cb.branch_id = bu.branch_id                     
                and bu.status in (
                   1,
                2)                
             inner join
                org_emp_info oei                           
                   on  oei.data_id = bu.user_id                           
                   and oei.node_left >= 2875                           
                   and oei.node_right <= 2875                           
                   and oei.org_category = - 1                
             where
                c.id = cb.contact_id           
          )        
       order by
          c.created_time desc  limit 0 ,
          10;
    Empty set (2 min 18.99 sec)
    

    2 min 18.99 sec!比之前的情况还糟糕很多。由于mysql的nested loop机制,遇到这种情况,基本是无法优化的。这条语句最终也只能交给应用系统去优化自己的逻辑了。
    通过这个例子我们可以看到,并不是所有语句都能优化,而往往我们优化时,由于SQL用例回归时落掉一些极端情况,会造成比原来还严重的后果。所以,第一:不要指望所有语句都能通过SQL优化,第二:不要过于自信,只针对具体case来优化,而忽略了更复杂的情况。

    慢查询的案例就分析到这儿,以上只是一些比较典型的案例。我们在优化过程中遇到过超过1000行,涉及到16个表join的“垃圾SQL”,也遇到过线上线下数据库差异导致应用直接被慢查询拖死,也遇到过varchar等值比较没有写单引号,还遇到过笛卡尔积查询直接把从库搞死。再多的案例其实也只是一些经验的积累,如果我们熟悉查询优化器、索引的内部原理,那么分析这些案例就变得特别简单了。

    相关文章

      网友评论

          本文标题:MySQL索引原理及慢查询优化--整理

          本文链接:https://www.haomeiwen.com/subject/wohdextx.html