美文网首页
大数据实时流处理

大数据实时流处理

作者: 机灵鬼鬼 | 来源:发表于2019-02-12 16:21 被阅读0次

    要想来做实时流处理,需要准备四项工作

    Spark Streaming的核心api学习

    安装环境时,注意点

    实现实时性不强或者离线数据分析的需求的框架思路:

    但是如果我要要求实时,你怎么办?

    比如

    小时级别、10分钟、5分钟、1分钟、秒级别(Spark或MapReduce速度已经就不能满足要求了)

    那么如何解决尼?

    就要引出来我们的实时流处理解决方案。

    其中Storm是真正实时处理,而Spark Streaming则是一个微小的批处理,可以拆分到秒级别

    另外还有一个叫Flink框架既可以处理离线也可以处理实时。

    相关文章

      网友评论

          本文标题:大数据实时流处理

          本文链接:https://www.haomeiwen.com/subject/bxwxsqtx.html