从集群看Storm

作者: 远o_O | 来源:发表于2018-03-25 18:51 被阅读23次

    0x00:Storm集群的框架

    • ①Storm集群遵循主/从(Master / Slave)架构,和Hadoop等分布式计算技术类似。在主从架构中,通常有一个配置中静态指定或运行时动态选举出的主节点。Storm使用前一种方式,而主/从架构因为引入了单点故障的风险而被诟病。
    • ②Storm的主节点是半容错的:

      ①严格意义上Nimbus不会引起单点故障,因为Nimbus不参与Topology的处理过程,仅仅管理Topology的初始化、任务分发和进行监控。实际上,如果Nimbus守护进程在Topology运行时停止了,只要分配的supervisor和worker健康运行,数据会继续处理。
      ②但是,如果Nimbus已经停止的情况下,Supervisor异常终止,因为没有Nimbus守护进程重新分配失败的任务,数据处理就会失败。

    0x01:理解Nimbus守护进程

    image.png

    0x02:Supervisor守护进程的工作方式

    image.png

    相关文章

      网友评论

        本文标题:从集群看Storm

        本文链接:https://www.haomeiwen.com/subject/fpfkcftx.html