通常我们使用offset+limit的方式进行分页查询，然而随着数据表数据量越来越大，这种分页查询的方式性能也会随之降低。
本篇主要介绍如何对分页查询进行优化。
一、起因
offset+limit方式的分页查询，当数据表超过100w条记录，性能会很差。
主要原因是offset limit的分页方式是从头开始查询，然后舍弃前offset个记录，所以offset偏移量越大，查询速度越慢。
二、分页查询优化
1. 基于索引再排序，利用MySQL支持ORDER操作可以利用索引快速定位部分元组,避免全表扫描
比如: 读第10000到10019行元素(pk是主键/唯一键).
#大于上一页最后一个id
SELECT * FROM table WHERE id>=10000 ORDER BY id ASC LIMIT 0,20
#或
SELECT * FROM table WHERE id >= (SELECT id FROM table order by id limit 10000, 1) LIMIT 20;
使用order by id可以在查询时使用主键索引。
但是这种方式在id为uuid的时候就会出现问题。可以使用where in的方式解决：
select * from table where id in (select id from table order by id limit 100000,10);
带条件的查询：
如果在分页查询中添加了where条件例如 type = 'a’这样的条件，sql变成 ：
select * from table where id in (select id from table where type='a' order by id limit 10000,10)
这种情况因为type没有使用索引也会导致查询速度变慢。但是只添加type为索引查询速度还是很慢,是因为查询的数据量太多了。这个时候考虑添加组合索引，组合索引的顺序要where条件字段在前，id在后，如 (type,id)，因为组合索引查询时用到了type索引，而type跟id是组合索引的关系，如果只select id ，那么直接就可以按组合索引返回id，而不需要再进行一次查询去返回id
2. 利用子查询/连接+索引快速定位元组的位置,然后再读取元组.
SELECT a.* FROM table a JOIN (select id from table limit 100000, 20) b ON a.id = b.id
三、mysql推荐使用自增id作为数据表的主键，不要使用uuid作为数据表的主键。
使用uuid作为主键不仅会带来性能上的问题，在查询时也会遇到问题。
因为在使用select id from table limit 10000,10 查询id数据时，默认是对id进行排序，返回的是排序后的id结果，如果我们想按插入顺序查询结果，这样查询出来的结果就与我们的需求不相符。
四、聚簇索引和非聚簇索引
聚集索引跟非聚集索引：聚集索引类似与新华字典的拼音，根据拼音搜索到的信息都是连续的，可以很快获取到它前后的信息。非聚集索引类似于部首查询，信息存放的位置可能不在一个区域。对经常使用范围查询的字段考虑使用聚集索引。
InnoDB中索引分为聚簇索引（主键索引）和非聚簇索引（非主键索引），聚簇索引的叶子节点中保存的是整行记录，而非聚簇索引的叶子节点中保存的是该行记录的主键的值。
如果您的表上定义有主键，该主键索引是聚集索引。
如果你不定义为您的表的主键时，MySQL取第一个唯一索引（unique）而且只含非空列（NOT NULL）作为主键，InnoDB使用它作为聚集索引。
如果没有这样的列，InnoDB就自己产生一个这样的ID值，
优先选index key_len小的索引进行count(*),尽量不使用聚簇索引
在没有where条件的情况下，count(*)和count(常量)，如果有非聚簇索引，mysql会自动选择非聚簇索引，因为非聚簇索引所占的空间小，如果没有非聚簇索引会使用聚集索引。count(primary key)主键id为聚集索引，使用聚集索引。有where条件的情况下，是否使用索引会根据where条件判断。
五、结论
- mysql数据表记录数超过几十万时，使用limit进行分页，性能会比较差
- mysql官方推荐不要使用uuid作为主键，而使用自增id作为主键。
- mysql表的索引会影响查询的默认排序，并不绝对是按主键排序。
- 查询时一定要添加order by id
- 分布式情况下推荐使用带时间属性的自增长id（分布式自增长id算法）
- 性能：count()≈count(1)>count(id)>count(field)，因为mysql()做过优化，会自动选择成本最小的方式查询,前提是只有在Mysql5.6之后的版本才有优化
- mysql官方关于count(1)和count()的说明：InnoDB handles SELECT COUNT() and SELECT COUNT(1) operations in the same way. There is no performance difference.
- 主备切换策略 ：可靠性优先策略，可用性优先策略。通常使用可靠性优先策略
- 在对数据库建索引，尽量选择区分度高的列建索引，使用组合索引代替多个单列索引，遵循左前缀原则等，建组合做因可以避免非聚簇索引二次查询（先查到索引，再根据索引关联的聚集索引也就是主键再查询另一个字段）
- mysql in在查询的时候，如果查询的数据比较多，mysql会认为全部扫描速度更快会进行全表查询，在数据少的情况下会走索引。
网友评论