0x00:Storm集群的框架
- ①Storm集群遵循主/从(Master / Slave)架构,和Hadoop等分布式计算技术类似。在主从架构中,通常有一个配置中静态指定或运行时动态选举出的主节点。Storm使用前一种方式,而主/从架构因为引入了单点故障的风险而被诟病。
- ②Storm的主节点是半容错的:
①严格意义上Nimbus不会引起单点故障,因为Nimbus不参与Topology的处理过程,仅仅管理Topology的初始化、任务分发和进行监控。实际上,如果Nimbus守护进程在Topology运行时停止了,只要分配的supervisor和worker健康运行,数据会继续处理。
②但是,如果Nimbus已经停止的情况下,Supervisor异常终止,因为没有Nimbus守护进程重新分配失败的任务,数据处理就会失败。
网友评论