要想来做实时流处理,需要准备四项工作
Spark Streaming的核心api学习
安装环境时,注意点
实现实时性不强或者离线数据分析的需求的框架思路:
但是如果我要要求实时,你怎么办?
比如
小时级别、10分钟、5分钟、1分钟、秒级别(Spark或MapReduce速度已经就不能满足要求了)
那么如何解决尼?
就要引出来我们的实时流处理解决方案。
其中Storm是真正实时处理,而Spark Streaming则是一个微小的批处理,可以拆分到秒级别另外还有一个叫Flink框架既可以处理离线也可以处理实时。
网友评论