美文网首页
Flink入门

Flink入门

作者: 学术界末流打工人 | 来源:发表于2020-02-02 00:18 被阅读0次

Flink 概述

Flink 官网

Flink 结构图(官网)

什么是Flink

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.
Flink 是一个对无界和有界数据流的有状态的计算的分布式计算引擎

有界流和无界流

有界流和无界流

无界流(Unbounded streams) : 有开始没有结束.。数据产生过程中不会中断,无界流需要被持续处理。并且处理的数据必须以一种特定的顺序被处理。

有界流(Bounded streams) : 有开始和结束。它可以被处理通过所有的数据都准备好后。处理有界流也就是俗称的批处理(bacth processing)

Flink 可以处理多种流:

  • 有界流和无界流
  • 实时流(Real-time)和历史流(Recorded)

业界流处理框架对比

Spark Streaming : 结构化流,批处理为主,流式处理是批处理的一个特例(mini batch)
Flink : 流式为主,批处理是流式处理的一个特例
Storm : 流式 Tuple


References

  1. Flink 官网
  2. 新一代大数据计算引擎 Flink从入门到实战

相关文章

网友评论

      本文标题:Flink入门

      本文链接:https://www.haomeiwen.com/subject/xurfxhtx.html