美文网首页Storm
Storm基础(五)守护程序的容错机制

Storm基础(五)守护程序的容错机制

作者: quiterr | 来源:发表于2017-04-14 14:05 被阅读74次

原文链接:http://storm.apache.org/releases/1.0.2/Daemon-Fault-Tolerance.html

本人原创翻译,转载请注明出处

Storm有几种守护进程:负责调度worker的Nimbus,负责启动和停止worker的supervisors,提供日志访问的log viewer,展示集群状态信息的UI。

worker死掉时会发生什么?

worker死掉时,supervisor将会重启它。如果它启动时继续死掉并且不能给Nimbus发送心跳,Nimbus会重新调度worker。

节点死掉时会发生什么?

分配给那个机器的任务将超时,Nimbus会重新分配任务给其他机器。

Nimbus或Supervisor进程死掉会发生什么?

Nimbus和Supervisor守护程序被设计为fail-fast(任何时候异常发生就进行自毁)和stateless(所有的状态保存在zookeeper或磁盘上)。正如在Setting up a Storm cluster里描述的那样,Nimbus和Supervisor守护程序必须使用daemontools或monit等工具监督管理。所以如果Nimbus和Supervisor守护程序死掉了,它们会像什么都没发生一样重启。

显而易见,worker进程不受Nimbus和Supervisor守护程序异常终止的影响。这和Hadoop正好相反,在Hadoop里,如果JobTracker终止,运行中的jobs也会终止。

Nimbus是否是单点失败?

如果Nimbus节点终止,workers会继续运行。此外,supervisors也会继续重启workers(如果worker终止的话)。但是,没有Nimbus,wokers就不会在必要的时候被分配到其他机器上,比如有机器宕机的时候。

从1.0.0版本以后,Storm Nimbus是高可用的,更多信息请参考Highly Available Nimbus Design

Storm如何保证消息处理?

即使节点宕掉或消息丢失,Storm也有保证消息处理的机制。请阅Storm基础(四)保证消息处理

相关文章

  • Storm基础(五)守护程序的容错机制

    原文链接:http://storm.apache.org/releases/1.0.2/Daemon-Fault-...

  • 45Scala介绍

    在介绍一下storm的容错机制,storm容错机制1、集群节点宕机 Nimbus服务器单点故障? 非Nimbus服...

  • Storm的容错机制

    任务级容错 Bolt任务crash引起的消息未被应答。此时,acker中所有与此Bolt任务关联的消息都会因为超时...

  • Storm学习笔记 - 消息容错机制

    Storm学习笔记 - 消息容错机制 文章来自「随笔」 http://jsynk.cn/blog/articles...

  • Storm容错机制(一):ACK机制

    前言 好久没有写文章了,然后一连就写了三篇,前两篇文章Storm入门(一):编程模型Storm入门(二):架构模型...

  • 2018-03-23周五开会小结

    本周主要工作,在Storm集群上测试基于Wordcount程序的CheckPoint机制 storm的checkP...

  • 40Storm

    Storm框架介绍流式处理框架storm是个实时的,分布以及具备高容错的计算系统 storm进程常驻内存 stor...

  • ElasticSearch 7.x 实战入门04

    主要内容:ES的基础分布式架构,shard&replica机制,横向扩容过程,容错机制 1、ES的基础分布式架构 ...

  • Flink 1.11 Unaligned Checkpoint

    作为 Flink 最基础也是最关键的容错机制,Checkpoint 快照机制很好地保证了 Flink 应用从异常状...

  • Storm记录级容错原理

    Storm记录级容错的基本原理:首先来看一下什么叫做记录级容错?Storm允许用户在spout中发射一个新的源tu...

网友评论

    本文标题:Storm基础(五)守护程序的容错机制

    本文链接:https://www.haomeiwen.com/subject/cpwmattx.html