1、功能特性
- 支持streaming流处理、batch批处理
- 容错:提供有状态的计算,记录数据的处理状态,基于chandy-lamport算法实现分布式一致性快照,提供一致性语义
- 可伸缩:一个集群支持上千个节点
- 高吞吐、低延迟
2、架构
1.1-flink架构.png- deploy层:部署层,flink支持本地、集群和云服务器
- core层:为api层提供服务,提供支持flink计算的全部核心实现
- api&libraries:提供面向流处理、批处理的api;以及机器学习、图形处理等扩展库
3、常见实时框架对比
模型 | 一致性 | 容错机制 | 延时/吞吐量 | |
---|---|---|---|---|
Storm | Native(数据进入立即处理) | at-lease-once(至少一次) | record ack | 低/低 |
Spark Streaming | Micro-batching | exactly-once | rdd checkpoint | 中/高 |
Flink | Native | exactly-once | checkpoint(snapshot) | 高/高 |
4、flink基本组件
- datasource:主要用来接收数据
- transform:算子,对数据进行加工处理,比如map、reduce、filter、aggregation、
- datasink:数据输出组件,主要用来保存数据到其他介质中
网友评论