(二十二)大数据学习之流式计算

大数据学习之流式计算

一.

1.计算分类：
批量计算、实时计算、离线计算、流式计算
2.共同点：
数据源 --> 采集数据 --> task worker --> task worker --> sink 输出
3.批量计算和流式计算的区别：
(1)处理数据粒度不一样。
批量计算每次处理一定大小的数据块。流式计算，每次处理一条记录。
(2)任务类型不一样。

• 流式计算会一直运行。

(3)数据源的区别。

• 对于批量计算而言，数据是有限数据。而对于流式计算，是无限数据。

4.流式计算可以提供类似批量计算的功能，为什么我们还要批量计算系统？

• 流式系统的吞吐量不如批量系统。
• 流式系统无法提供精准的计算

二.storm:Storm是最早流式计算框架

1.架构图

三.Flink

1.spark的反义词
2.spark把任何东西，都看成RDD来处理。
3.Flink把任何东西，都看作流。