1、spark无状态，flink有状态
spark本身是无状态的，所以我们可以把它看成一个rdd一个算子一个rdd的去处理，就是说可以看成分段处理。
但是flink是事件驱动型应用是一类具有状态的应用，我们要把它看成一个个event记录去处理，当遇到窗口时会进行阻塞等待，窗口的聚合操作是无状态的。过了窗口后DataStream的算子聚合操作就是有状态的操作了，所以flink要把聚合操作都放到窗口操作之前，才能进行无状态的聚合操作。而spark全程都是无状态的，所以在哪聚合都可以。
2、窗口的概念
Window将一个无限的stream拆分成有限大小的“buckets”桶，我们可以在这些桶上做计算操作。当该window有数据是算子会执行，当window没数据时算子不执行。
3、watermark概念
每个event都带有eventTime。Watermark就等于当前所有到达数据中的maxEventTime - 延迟时长。一旦数据携带的Watermark比当前未触发的窗口的停止时间要晚，那么就会触发相应窗口的执行。
流与批的世界观
批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。
流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。
在spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。
而在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。
无界数据流：
无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。
网友评论