[译] Flink 内部系统架构

作者: 翼徳 | 来源:发表于2019-01-04 15:20 被阅读7次

官网地址： https://ci.apache.org/projects/flink/flink-docs-release-1.7/internals/components.html

从软件架构来看，Flink 属于分层系统：

Runtime 层接收 JobGraph 形式的计划，JobGraph 中有消费和生成数据流的各种任务。
DataStream API 和 DataSet API 都通过单独的编译处理生成 JobGraphs。DataSet API 使用优化器来确定程序的最佳计划，而 DataStream API 使用流构建器。
JobGraph 根据 Flink 中可用的各种部署选项执行（例如：本地、远程、YARN等）
Libraries 和 APIs 与Flink 的 DataSet API、 DataStream API 绑在一起。这些 Table 用于逻辑表的查询、机器学习的 FlinkML 和图形处理的 Gelly。

Flink 内部系统架构

[译] Flink 内部系统架构
官网地址： https://ci.apache.org/projects/flink/flink-docs-rel...
【译】Flink 架构
Apache Flink 是一个分布式处理引擎及框架，用以对无限数据和有限数据流做有状态计算。Flink 被设计成...
Flink DataStream API 介绍与使用
引文 Flink 1.7 官方详细参考API 正文 DataStream编程模型在Flink整个系统架构中，对流...
Flink 架构
1.Flink 运行时的角色 Flink系统架构中包含了两个角色，分别是JobManager和TaskManage...
最详细Flink环境部署教程
Flink 原理与实现：架构和拓扑概览架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后...
Flink系统架构简介
Flink系统组成 Flink是一个分层系统，从下到上分为：系统部署层、任务运行层、API层以及基于API开发的通...
flink大纲知识
flink集群部署flink反压flink拓扑架构flink的内存管理
Flink架构：runtime核心机制
1. Flink Runtime 整体架构 Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同...
flink Metrics及其使用
flink metric用来对外暴露系统内部的一些运行指标，比如flink框架运行时的JVM相关配置，或者基于fl...
Flink集群架构
Flink集群架构 Flink采用Master-Slave架构，其中JobManager作为集群Master节点，...