美文网首页
Presto查询执行模型

Presto查询执行模型

作者: liuzx32 | 来源:发表于2020-06-18 18:15 被阅读0次
  1. Statement语句: 其实就是输入的SQL

  2. Query 根据SQL语句生成查询执行计划,进而生成可以执行的查询(Query),一个查询执行由Stage、Task、Driver、Split、Operator和DataSource组成

  3. Stage 执行查询阶段 Stage之间是树状的结构 ,RootStage 将结果返回给coordinator ,SourceStage接收coordinator数据 其他stage都有上下游 stage分为四种 single(root)、Fixed、source、coordinator_only(DML or DDL)

  4. Exchange 两个stage数据的交换通过Exchange 两种Exchange ;Output Buffer (生产数据的stage通过此传给下游stage)Exchange Client (下游消费);如果stage 是source 直接通过connector 读数据,则改stage通过Operator与connector交互
    stage 并不会被执行,只是对执行计划进行管理

  5. Task 实际运行在worker上的

  6. Driver 一个Driver处理一个split

  7. Operator 一个operator代表对一个split的一种操作 operator每次只会读取一个paged对象

  8. Split 分片一个分片就是一个大的数据集中的一个小的子集

  9. Page presto中处理的最小数据单元 一个page包含多个block对象,每个block对象是个字节数据


一个查询分解为多个stage 每个 stage拆分多个task,每个task处理一个or多个split ,一个task被分解为一个或多个Driver。

相关文章

  • Presto查询执行模型

    Statement语句: 其实就是输入的SQL Query 根据SQL语句生成查询执行计划,进而生成可以执行的查询...

  • Trino · datalake · 架构设计1

    一、背景 本文介绍学习Presto/Trino权威指南中的架构相关的信息 。这里深挖相关概念,如查询执行模型、查询...

  • Presto查询执行过程

    Presto中SQL运行过程 Coordinator接到SQL后,通过SQL语法解析器把SQL语法解析变成一个抽象...

  • OLAP引擎:基于Presto组件进行跨数据源分析

    一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数...

  • Presto统计信息

    表统计 Presto支持基于统计的查询优化。为了使查询能够利用这些优化,Presto必须具有该查询中表的统计信息。...

  • 目录

    基于presto0.155,以一条主线 : cli查询presto+hive返回 一、cli与presto通信机制...

  • Presto Web UI

    Presto Web UI 可以用来检查和监控Presto集群,以及运行的查询。他所提供的关于查询的详细信息可以...

  • Presto介绍,使用及安装部署

    1.Presto是什么 Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。如果你需要处理TB或者P...

  • PrestoDB (一)

    写在前面 Presto不是数据库,定位是查询引擎 通过分布式查询,Presto不仅仅可以访问HDFS,也可以访问其...

  • Presto中的插件

    插件 了解了presto的数据模型,就可以给presto编写插件,来对接自己的存储系统。presto提供了一套co...

网友评论

      本文标题:Presto查询执行模型

      本文链接:https://www.haomeiwen.com/subject/duxpxktx.html