同事群里发慢sql优化记录
手痒打开一个看看，尝试下
速度提起来了
那么问题来了，你怎么保证优化过的sql结果和之前是一致的？
Sql 优化 后如何确保结果一致啊
即：你没改变他的逻辑
google告诉我 用minus ，对不起Mysql不支持
中间也想过自己搞个Java 多线程 加limit关键字 ,切段比较？感觉太笨拙了，
手里有锤子满世界都是钉子也不行啊
So
Mysql minus 替代品：
left join .... is null
先看两个表结构
t1.png
t2.png
同样的表结构，
内容 前三条一致，最后一条不同
目标： 找出不同记录数
方式：
select s1.region_id ,s1.name, s2.region_id, s2.name
from sales_region s1
left join sales_region_new s2
on s1.region_id = s2.region_id
t3.png
oye！
如果愉快的加个 s2.region_id is null 判断：
select s1.region_id ,s1.name, s2.region_id, s2.name
from sales_region s1
left join sales_region_new s2
on s1.region_id = s2.region_id
where s2.region_id is null
类似 minus的效果
t4.png
再直观一点：告诉我 s1 中有 而s2没有的 记录条数
SELECT
COUNT(*) AS s1Have_s2None_counts
FROM
sales_region s1
LEFT JOIN
sales_region_new s2 ON s1.region_id = s2.region_id
WHERE
s2.region_id IS NULL
t5.png
好了，铺垫完毕
回到咱们面对的问题：
如何保证两条sql 返回的结果是一致的？
即 ，当你优化系统中的慢sql时候，
如何验证你修改后的sql和修改前的sql ，结果一致
即使你优化了速度，但不能把逻辑搞错了
例如：
SELECT
*
FROM
c_alarm_data_t
WHERE
create_date > '2019-03-13'
AND sensor_no != 'E11'
AND terminal_no IN (SELECT
terminal_no
FROM
v_terminal_t
WHERE
organization_no IN (SELECT DISTINCT
organization_no
FROM
v_terminal_t
WHERE
terminal_no IN (SELECT
terminal_no
FROM
f_dt_limitsgp_limits
WHERE
dt_limitsgp_id IN (SELECT
dt_limitsgp_id
FROM
f_dt_user_datalimitsgp
WHERE
userid = 'userid99998888test'))));
image8.png
结果有260w, 耗时 8.2s , 这里只展示了100条
优化后（去掉莫名其妙的自己in 自己）：
*
FROM
c_alarm_data_t
WHERE
create_date > '2019-03-13'
AND sensor_no != 'E11'
AND terminal_no IN
-- (SELECT
-- terminal_no
-- FROM
-- v_terminal_t
-- WHERE
-- organization_no IN (SELECT DISTINCT
-- organization_no
-- FROM
-- v_terminal_t
-- WHERE
-- terminal_no IN
--
(SELECT
terminal_no
FROM
f_dt_limitsgp_limits
WHERE
dt_limitsgp_id IN (SELECT
dt_limitsgp_id
FROM
f_dt_user_datalimitsgp
WHERE
userid = 'userid99998888test'));
image019.png
用时0.019s
速度提升431倍！！！
Sql 优化 后如何确保结果一致啊
sql 区别如下：
imageDiff.png
验证两个sql结果一致：
SELECT
COUNT(t1.alarm_id)
FROM
(SELECT
*
FROM
c_alarm_data_t
WHERE
create_date BETWEEN '2019-04-02 12:00:00' AND '2019-04-02 12:00:01'
AND sensor_no != 'E11'
AND terminal_no IN (SELECT
terminal_no
FROM
f_dt_limitsgp_limits
WHERE
dt_limitsgp_id IN (SELECT
dt_limitsgp_id
FROM
f_dt_user_datalimitsgp
WHERE
userid = 'userid99998888test'))
LIMIT 5) AS t1
LEFT JOIN
(SELECT
*
FROM
c_alarm_data_t
WHERE
create_date BETWEEN '2019-04-02 12:00:00' AND '2019-04-02 12:00:01'
AND sensor_no != 'E11'
AND terminal_no IN (SELECT
terminal_no
FROM
v_terminal_t
WHERE
organization_no IN (SELECT DISTINCT
organization_no
FROM
v_terminal_t
WHERE
terminal_no IN (SELECT
terminal_no
FROM
f_dt_limitsgp_limits
WHERE
dt_limitsgp_id IN (SELECT
dt_limitsgp_id
FROM
f_dt_user_datalimitsgp
WHERE
userid = 'userid99998888test'))))
LIMIT 5) AS t2 ON t1.alarm_id = t2.alarm_id
WHERE
t2.alarm_id IS NULL;
imageCnt0.png
为了提高速度，sql做了轻微修改,
时间段缩小为1s
limit 5 只取5条
即使这样，这个判定还要8.1s...
做个记录吧，谁有更好的方案，欢迎指教
话说 简书为何没有标签功能？
网友评论