一.Presto中的节点类型
presto中含有两种节点类型：coordinator和worker。
1.Coordinator
coordinator的主要职责是语法解析，构建查询计划，以及管理worker节点。它相当于presto的大脑，客户端会连接到coordinator并提交执行语句。安装presto需要一个coordinator以及一个或多个workers。
coordinator跟踪每个worker的活动情况，并协调一个查询的执行。coordinator为每个查询创建逻辑模型，其中包含一系列的stage，这些stage会被转换为一系列的task，去worker的集群上执行。
coordinator与worker、客户端间的连接使用REST API的方式。
2.Worker
worker在presto中的职责是执行task并处理数据。worker节点从connector拉取数据，并在节点间进行中间数据的交换。coordinator负责从workers拉取结果并返回给客户端。
worker节点启动时，会向coordinator广播自己。
二.数据源
1.Connector
connector使得Presto可以连接到Hive或关系数据库等数据源。可以把connector想象为一个数据库的driver。connector是Presto SPI的实现，SPI使得Presto可以使用标准API与数据源进行交互。
每个catalog绑定于特定的connector。catalog的配置文件中有一个强制的属性：connector.name，这用于catalog manager根据给定的catalog创建一个connector。
2.Catalog
catalog包含通过connector连接到数据源的schema。比如表名等等...
catalog由配置文件定义，并存储在Presto的配置目录中。
3.Schema
Schema是组织表的一种方式。catalog和schema一起定义可以查询到的一系列表。
4.Table
table是由命名列以及类型组织的一系列数据行，这跟关系型数据库类似。数据源到table的映射由connector来定义。
三.Query Execution Model
1.Statement
Presto执行ANSI兼容的SQL语句。
2.Query
Presto解析语句后，会将其转为一个query，并且创建分布式的执行计划，然后将其实现为一系列内部相连的stages，放到workers上去运行。
3.Stage
当Presto执行一个查询时，它会将其打碎，构造一系列stages的层级关系。
Stages的层级关系类似于一颗树，每个query都有一个root stage，其作用是将其他stages的结果聚集起来。stages本身不运行在Presto的workers上。
4.Task
stage由分布在Presto workers的一系列task构成。一个task包含inputs和outputs，task由一系列drivers并行执行。
5.Split
task作用于一个大数据集的一部分（称为split）上。stages通过splits从connector检索数据。
6.Driver
task包含一个或多个并行drivers。drivers是操作符的序列。在Presto的架构中，它是并行执行的最低级别。driver有一个输入和一个输出。
7.Operator
operator消费、转换并产生数据。
网友评论