美文网首页大数据,机器学习,人工智能大数据
大数据干货 SQL优化方案精解十则

大数据干货 SQL优化方案精解十则

作者: 烽火程序猿 | 来源:发表于2019-06-15 16:39 被阅读0次

    应尽量避免在 where 子句中对字段进行 null
    值判断,否则将导致引擎放弃使用索引而进行全表扫描,这里最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库。

    一、避免进行null判断

    应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,这里最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库。

    备注、描述、评论之类的可以设置为 NULL,最好不要使用NULL。不要错误的认为NULL 不需要空间,如char(100) 型,在字段建立时,空间就固定了。不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。可以在num上设置默认值0,确保表中num列没有null值。

    二、不要使用select *

    使用select *的话会增加解析的时间,另外也会把不需要的数据同时查询出来,从而延长数据传输时间,耗费精力。如text类型的字段,通常用来保存一些内容比较繁杂的东西,如果使用select *,则会把该字段也查询出来。

    三、谨慎使用模糊查询

    当模糊匹配以%开头时,该列索引将失效。若不以%开头,该列索引有效。

    四、不要使用列号

    使用列号的话,将会增加不必要的解析时间。

    五、优先使用UNION ALL,避免使用UNION

    因为UNION 会将各查询子集的记录做比较,故比起UNION ALL ,通常速度都会慢上许多。一般来说,如果使用UNION ALL能满足要求的话,务必使用UNION ALL。还有一种情况,如果业务上能够确保不会出现重复记录。

    六、在where语句或者order by语句中避免对索引字段进行计算操作

    当在索引列上进行操作之后,索引将会失效。正确做法应该是将值计算好再传入进来。

    七、使用not exist代替not in

    如果查询语句使用了not in 那么内外表都进行全表扫描,没有用到索引;而not extsts 的子查询依然能用到表上的索引。

    八、exist和in的区别

    in 是把外表和内表作hash 连接,而exists是对外表作loop循环,每次loop循环

    再对内表进行查询。因此,in用到的是外表的索引, exists用到的是内表的索引。如果查询的两个表大小相当,那么用in和exists差别不大。如果两个表中一个较小,一个是大表,则子查询表大的用exists,子查询表小的用in。

    九、避免在索引列上做如下操作

    1.避免在索引列上使用IS NULL和IS NOT NULL。

    2.避免在索引列上出现数据类型转换。(比如某字段是String类型,参数传入时是int类型)当在索引列上使用如上操作时,索引将会失效,造成全表扫描。

    十、复杂操作可以考虑适当拆成几步

    有时候会有通过一个SQL语句来实现复杂业务的例子出现,为了实现复杂的业务,嵌套多级子查询。造成SQL性能问题。对于这种情况可以考虑拆分SQL,通过多个SQL语句实现,或者把部分程序能完成的工作交给程序完成。


    在这里我还是要推荐下我自己建的大数据学习交流qq裙:788483959 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。大数据开发、数据分析与挖掘线上教学,免费试听!

    相关文章

      网友评论

        本文标题:大数据干货 SQL优化方案精解十则

        本文链接:https://www.haomeiwen.com/subject/gpeefctx.html