美文网首页实时数仓
流式计算的代表:Storm,Flink,Spark Stream

流式计算的代表:Storm,Flink,Spark Stream

作者: Movle | 来源:发表于2019-11-23 22:27 被阅读0次

    流式计算的代表:Storm,Flink,Spark Streaming

    Strom

    1.Strom的主从架构


    Strom主从架构

        nimbus是集群的Master,负责集群管理、任务分配等。supervisor是Slave,是真正完成计算的地方,每个supervisor启动多个worker进程,每个worker上运行多个task,而task就是spout或者bolt。supervisor和nimbus通过ZooKeeper完成任务分配、心跳检测等操作。

    Spark Streaming

    1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算

    2.Spark Streaming将数据分段、分批的过程

    Spark Streaming分段,分批过程

        Spark Streaming主要负责将流数据转换成小的批数据,剩下的就可以交给Spark去做了

    Flink

    1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算。而Flink则相反,一开始就是按照流处理计算去设计的。

    2.Flink架构:

    Flink架构

    相关文章

      网友评论

        本文标题:流式计算的代表:Storm,Flink,Spark Stream

        本文链接:https://www.haomeiwen.com/subject/uujkwctx.html