流式计算的代表:Storm,Flink,Spark Streaming
Strom
1.Strom的主从架构
Strom主从架构
nimbus是集群的Master,负责集群管理、任务分配等。supervisor是Slave,是真正完成计算的地方,每个supervisor启动多个worker进程,每个worker上运行多个task,而task就是spout或者bolt。supervisor和nimbus通过ZooKeeper完成任务分配、心跳检测等操作。
Spark Streaming
1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算
2.Spark Streaming将数据分段、分批的过程
Spark Streaming分段,分批过程Spark Streaming主要负责将流数据转换成小的批数据,剩下的就可以交给Spark去做了
Flink
1.Spark Streaming是将实时数据流按时间分段后,当作小的批处理数据去计算。而Flink则相反,一开始就是按照流处理计算去设计的。
2.Flink架构:
Flink架构
网友评论