美文网首页
sql 记一次sql写方法优化: 查询每个分组最新的记录 20

sql 记一次sql写方法优化: 查询每个分组最新的记录 20

作者: 尹楷楷 | 来源:发表于2020-11-03 18:00 被阅读0次

biz_cloudsign_login是登录记录, 表数据28万。
需求是:查询每个人最新登录记录。

表结构

CREATE TABLE `biz_cloudsign_login` (
`id`  bigint(20) NOT NULL AUTO_INCREMENT ,
`business_system_code`  int(11) NOT NULL ,
`user_department`  varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ,
`employee_num`  varchar(36) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ,
`user_name`  varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ,
`identity_number`  varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ,
`client_id`  varchar(40) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL ,
`client_ip`  varchar(40) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`random_num`  varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`cert_id`  varchar(36) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`encrypted_token`  longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
`updated_at`  datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ,
PRIMARY KEY (`id`),
INDEX `index_eml` (`id`, `employee_num`) USING BTREE ,
INDEX `index_employee_num` (`employee_num`) USING BTREE 
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
AUTO_INCREMENT=289464
ROW_FORMAT=DYNAMIC
;

思路:
1、使用子查询先将目标表的 id,employee_num 查询出来,根据id倒叙排列(id自增)
2、再使用id进行自关联查询,按employee_num 分组

SELECT
    b.* 
FROM
    ( SELECT id,employee_num FROM biz_cloudsign_login ORDER BY id DESC ) a join biz_cloudsign_login b ON a.id = b.id
GROUP BY
    a.employee_num  order by null

添加了相应索引的最优执行计划


image.png

是先使用SELECT id,employee_num FROM biz_cloudsign_login ORDER BY id DESC 将所有的id,employee_num 记录查询出来,尽管加上了索引。但是由于是全索引的扫描。也是非常慢的。事实上这里查询出了我们本不需要的数据:旧的登录记录

优化写法

巧妙组合使用 MAX( id )和按 employee_num分组直接达到了排序的目的,因为这个表的id是int类型且自增。那么SELECT MAX( id ) 'id' FROM biz_cloudsign_login GROUP BY employee_num 就直接查询出了最新的每个人的登录记录id。然后再关联查询就好了!这种方式就比上面的方式扫描的数据少了很多


    SELECT
        v.* 
    FROM
        biz_cloudsign_login v
        INNER JOIN ( SELECT MAX( id ) 'id' FROM biz_cloudsign_login GROUP BY employee_num ) c ON v.id = c.id 

查看执行计划


image.png

比起上面的查询,这条sql只需要扫描 1571+1571 三千条数据就能得到执行结果。而上面却要将整个表扫描一遍,那就是28万!

若数据量实在是太大,我们可以根据服务器配置酌情调大buff pool。会有显著的优化效果。具体看看这篇
https://www.jianshu.com/p/5bf36975fd73

SET GLOBAL innodb_buffer_pool_size = 6442450944 -- 6G

相关文章

  • sql 记一次sql写方法优化: 查询每个分组最新的记录 20

    biz_cloudsign_login是登录记录, 表数据28万。需求是:查询每个人最新登录记录。 表结构 思路:...

  • 获取分组中的最值(group by order by )

    使用子查询。limit:防止优化器对sql进行优化,导致分组排序无效

  • SQL优化

    SQL优化 在sql查询中为了提高查询效率,我们常常会采取一些措施对查询语句进行sql优化,下面总结的一些方法,有...

  • 关于分组后查到最新数据的sql

    今天在写一个sql的时候要实现查询出分组后数据的最新记录。刚开始是这样写的 显然这样子是错误的,这里是把分组之后的...

  • oracle AWR报告

    步骤一:查询出sql的记录 注:时间为输入值,看需要输入 步骤二: 方法一sql: 方法二sql: 例子:

  • face19 mysql查询优化

    mysql查询优化 sql语句优化的一些方法 先说明如何定位低效sql语句,然后根据低效原因做排查,先从索引着手,...

  • 数据库索引相关问题

    如何定位并优化慢查询Sql 根据慢日志定位慢查询sql 使用explain等工具分析sql 修改sql或者尽量让s...

  • Java面试题:数据库优化策略有哪些?

    1、Sql优化主要优化的还是查询, 优化查询的话, 索引优化是最有效的方案。 首先要根据需求写出结构良好的SQL,...

  • SQL锁优化问题

    关于SQL锁。SQL优化少不了SQL锁优化 1.SQL常见锁有:共享锁 作用于查询操作(Select) 2.排他锁...

  • msyql 常用sql优化方法

    SQL查询中为了提高查询效率,我们常常会采取一些措施对查询语句进行sql优化,下面总结一些方法,供大家参考。 对查...

网友评论

      本文标题:sql 记一次sql写方法优化: 查询每个分组最新的记录 20

      本文链接:https://www.haomeiwen.com/subject/fslivktx.html