美文网首页
Storm从入门到精通9:Storm提交任务的流程

Storm从入门到精通9:Storm提交任务的流程

作者: 金字塔下的小蜗牛 | 来源:发表于2020-04-03 09:17 被阅读0次

编写好一个Storm程序之后,需要将该Storm任务提交到Storm集群上去执行。Storm任务的提交流程如下图所示:

image

从上图可以看出,Storm提交任务到Storm集群有以下几个步骤:

  1. 由客户端提交Topology任务到Storm集群的nimbus主节点;
  2. nimbus主节点收到任务请求后,创建Topology任务的本地目录,并将任务的Jar包上传至$STORM_HOME/tmp/nimbus/inbox/目录下;
  3. nimbus主节点从ZooKeeper上获取活动的从节点信息,并计算任务的工作量;
  4. nimbus主节点将任务的分配信息写入ZooKeeper;
  5. supervisor从节点监听ZooKeeper上的信息,当有任务分配时,启动任务的Topology;
  6. 对于某个supervisor从节点,从ZooKeeper上获取分配给自己的Task任务,并启动相应数目的Worker进程;
  7. 由Worker进程来执行具有任务的Task:Spout或者Bolt;

相关文章

网友评论

      本文标题:Storm从入门到精通9:Storm提交任务的流程

      本文链接:https://www.haomeiwen.com/subject/xljkdhtx.html