美文网首页大数据数据联邦&软件开发
Trino · datalake · 架构设计1

Trino · datalake · 架构设计1

作者: sinwaj | 来源:发表于2022-06-03 19:42 被阅读0次

一、背景

 本文介绍学习Presto/Trino权威指南中的架构相关的信息 。这里深挖相关概念,如查询执行模型、查询计划、基于成本的优化,本章首先讨论高层架构组件。理解Presto工作方式非常重要,尤其当你想自己安装和维护集群。

二、协调节点和计算节点

  集群中协调节点和计算节点可以部署在一台机器上,当然考虑到可扩展性和性能,这种部署方式是不合适的。Presto是类似于MPP数据库的分布式查询引擎。不仅仅支持垂直服务方式运行,同时支持水平方式进行处理,这意味可以通过增加节点来提升处理能力。Presto用户通过客户端,如JDBC方式或Presto CLI,来连接协调节点。协调节点管理计算节点来访问数据源。

图1 架构

1. 协调节点处理查询和管理计算节点执行查询。

2.发现服务运行在协调节点上,计算节点通过注册的方式加入集群。

3.所有的通讯和数据传输是基于HTTP/HTTPS的REST方式。

图2 协调节点和计算节点通讯

协调节点分配计算任务给计算节点,更新状态,获取上层结果并返回给用户。计算节点获取基于上游任务的数据流,同时计算节点从数据源获取数据。

三、参考

信息来源:《Presto The Definitive Guide》

本文信息只用于学习和交流,严谨用于其他途径。

相关文章

网友评论

    本文标题:Trino · datalake · 架构设计1

    本文链接:https://www.haomeiwen.com/subject/nbehmrtx.html