SQL优化分享
最近公司部门内部进行了一次分享,是总工给我们进行的一次关于SQL优化的内容。相信关于SQL的优化也是很多公司都会遇到的一个问题,而之前进行的项目就由于数据库的原始设计方式问题较大,因此SQL查询效率很低。而这次分享就针对这个痛点,让我们受益匪浅。
优化方式
数据库优化的方式(以ORACLE)主要包括:语句优化,执行优化,存储优化,系统优化,物理优化。这几种优化有效程度和消耗比由大到小的顺序就是上面的顺序。因此我们也应当先关注效用比大的优化方式。(同时语句优化和执行优化可能也是程序员能接触到的最好的优化方式。)数据库优化的本质就是减少磁盘IO消耗。
#语句优化
1、 过滤优先做
2、 group尽量早执行
3、 去重优先进行
4、 避免笛卡尔积
语句优化的核心就在于两点:减少操作的数据、利用上索引。
#执行优化
1、 创建合适的索引
2、 缩小事务范围
3、 使用合适的表连接方式
4、 SQL执行计划理解
执行上的优化大多都是围绕索引来进行的,创建一个合适的索引就能减少极大的IO次数。
#存储优化,系统优化,物理优化
.....
和之前的两点不一样,之前两点主要减少的是IO的次数,而这几点最主要的是增大IO的速度。两者都能减少整体的查询速度。
索引原理
索引是我们优化数据库速度的一个利器,同时也是极其便利的一个方式。也因此,我们也不能忽略增加索引引起的消耗问题。利用索引优化的本质是利用空间换取时间,因此增加索引会增加空间复杂度,同时索引优化了查询速度,但是会劣化插入速度。
索引本质上是一种存储数据的方式,常见的利用树形结构来存储数据的引用地址从而快速地找到某一具体数据的位置。这种方式就是索引。
索引的速度实际与索引的层级有关,一般来说数据越多,层级也就越多。但是两者并不存在必然关系。如果两者数据量相差巨大,但是层级一致。那么两者查询速度应该是差不多的。
利用索引
#函数
当使用函数时,且所筛选的字段没有明确表明其不为空(直接指定 not null 或 主键指定)不会用到索引。值得注意的是MAX,MIN函数特别的都会用到索引,这是由于索引建立时就会自然的进行排序。所以扫描时会有特别的max min扫描。
#回表优化
很多人都知道不要在生产机中使用/SELECT * FROM .../的语句。这就是因为当你使用*的时候就会使用索引找到主键,然后通过回表的方式再找到其他字段。而这样是会消耗时间的。所以更好的做法是直接明确的写出自己需要的字段。
#复合索引
当需要多个字段的限定谓词时,可以建立复合索引优化查询速度。
#oder by排序
排序对数据库性能的消耗是十分巨大的,而如同之前所说的:索引建立时就会自然的进行排序。因此索引对order by排序的性能优化是十分明显的。
#leading优化
这个主要是指多表连接时的加载顺序优化,我们应当先加载小的表,也就是小标驱动大表。
索引类型
类型 | 说明 |
---|---|
B数索引 | 最常用的默认索引 |
位图索引 | 对整体类型较少的,比如存储选项值的字段效果好。但是可能会导致锁表。慎用 |
组合索引 | 用在对多个字段索引时 |
函数索引 | 用来解决使用了函数之后不走索引的问题 |
反向索引 | 解决热块问题,引起的性能问题。将索引所在块分开储存 |
分区索引 | 针对条目数千万级别以上,将一个大的表分割开来查询 |
全文索引 | 主要是针对文字中的具体内容检索加快 |
注意事项
1、利用复合索引中,where条件应当包含复合索引的第一列。这样才会被识别。
2、避免在索引列上使用函数。
3、避免使用前置通配符,如 *12345 不会利用到索引,而 12345* 这样是会利用到的。必要时可用字符串查询(instr())来替代like。
4、避免使用 not or 谓词在索引列。
5、减少对表的查询,子查询层次减少。
6、where子句链接顺序,过滤大的谓词写在最后。因为ORACLE是从右往左执行过滤。
7、连接的列尽量避免字符串操作如||
规范
1、单条SQL不超过100行。
2、嵌套子查询尽量不超过三层。
3、每张表的索引不超过五条。
4、禁止在每条列字段都加索引。
5、索引尽量加在表间关联字段。
6、禁止在生产系统使用*。
7、禁止使用不含字段列表的insert语句。
8、避免join连接过多的表。
9、where从句中尽量减少函数和操作。
网友评论