SQL优化器简介

作者: 叁金 | 来源:发表于2019-03-09 11:46 被阅读0次

文章导读:

  1. 什么是RBO?
  2. 什么是CBO?

我们在工作中经常会听到这样的声音:“SQL查询慢?你给数据库加个索引啊”。虽然加索引并不一定能解决问题,但是这初步的体现了SQL优化的思想。

而数据库主要由三部分组成,分别是解析器优化器执行引擎

v2-6c98f34b8d88cdf590cedfe8b52b9c28_hd.jpg

其执行逻辑是我们输入的SQL语句通过解析器解析成关系表达式,通过优化器把关系表达式转换成执行计划,最终通过执行引擎进行执行。所以优化器在很大程度上决定了一个系统的性能。优化器的作用就好比找到两点之间的最短路径。
上篇文章我们提到了Calcite,Calcite本身就支持两种优化方式分别是RBO和CBO。

RBO

RBO(Rule-Based Optimizer) 基于规则的优化器。是根据已经制定好的一些优化规则对关系表达式进行转换,最终生成一个最优的执行计划。它是一种经验式的优化方法,优化规则都是预先定义好的,只需要将SQL按照优化规则的顺序往上套就行,一旦满足某个规则则进行优化。
这样的结果就是同样一条SQL,无论读取的表中的数据是怎样的,最后生成的执行计划都是一样的(优化规则都一样)。而且SQL的写法不同也很有可能影响最终的执行计划,从而影响SQL的性能(基于优化规则顺序执行)。
所以说,虽然RBO是一个老司机,知道常见的套路,但是当路况不同时,也无法针对性的达到最佳的效果。

CBO

CBO(Cost-Based Optimizer)基于代价的优化器。根据优化规则对关系表达式进行转换,生成多个执行计划,最后根据统计信息和代价模型计算每个执行计划的Cost。从中挑选Cost最小的执行计划作为最终的执行计划。
从描述来看,CBO是优于RBO的,RBO只认规则,对数据不敏感,而在实际的过程中,数据的量级会严重影响同样SQL的性能。所以仅仅通过RBO生成的执行计划很有可能不是最优的。而CBO依赖于统计信息和代价模型,统计信息的准确与否、代价模型是否合理都会影响CBO选择最优计划。
目前各大数据库和大数据计算引擎都已经在使用CBO了,比如Oracle、Hive、Spark、Flink等等。

动态CBO

动态CBO,就是在执行计划生成的过程中动态优化的方式。随着大数据技术的飞速发展,静态的CBO已经无法满足我们SQL优化的需要了,静态的统计信息无法提供准确的参考,在执行计划的生成过程中动态统计才会得到最优的执行计划。
那么优化器的执行过程是怎样的呢?又有哪些优化规则呢?(请看下回分解~)

参考资料:

https://zhuanlan.zhihu.com/p/40478975

欢迎关注微信公众号 叁金大数据 ~

相关文章

  • SQL优化器简介

    文章导读: 什么是RBO? 什么是CBO? 我们在工作中经常会听到这样的声音:“SQL查询慢?你给数据库加个索引啊...

  • Oracle SQL优化器简介

    [TOC] 在看《基于Oracle的SQL优化一书》知道了很多专业名称,做了记录,CBO、优化器、查询转换、执行计...

  • 分享:SQL优化器简介

    SQL优化是我们经常会遇到的问题,无论你是专职的数据分析人员还是全栈开发大神或者是CURD搬运工。 我们在工作中经...

  • SparkSQL Catalyst解析

    简介: Catalyst Optimizer是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物...

  • sql优化的一般策略

    sql 优化的一般策略:索引优化,sql改写,参数优化,优化器 索引优化 以select * from vvsho...

  • MySQl优化学习笔记(七)SQL优化简介

    一、SQL优化简介 1、我们平时说的SQL优化就是优化SQl语句和索引(通俗说就是使用什么样的SQL语句能够让索引...

  • 详解mysql的EXPLAIN命令

    一 简介 使用explain命令可以模拟优化器执行sql语句,从而知道mysql是如何处理我们写的sql语句的,还...

  • 11-mysqlSQL分析

    六星教育 - java-mysql优化1909 SQL优化 所谓SQL优化:基于MySQL的优化器查询规则来优化S...

  • 第一章 SQL性能优化简介

    第一章 SQL性能优化简介 InterSystems SQL支持几个特性来优化InterSystems IRIS®...

  • sql优化

    1、 优化器 优化器(Optimizer)是SQL分析和执行的优化工具,它负责生成、制定SQL的执行计划。主要有以...

网友评论

    本文标题:SQL优化器简介

    本文链接:https://www.haomeiwen.com/subject/tlrspqtx.html