美文网首页
storm nimbus superviser slot wor

storm nimbus superviser slot wor

作者: 正居明阳 | 来源:发表于2018-05-31 13:05 被阅读0次

nimbus 是集群的管理节点

superviser : 一个superviser 在一台机器上, 它本身是一个进程,有一个id

管理在同一机器上的 多个worker进程,每个worker进程只服务于一个topology,每个worker对外有一个port,用于接收数据;一个Worker对应于- - Supervisor上创建的一个JVM实例

一个worker内有多个executor线程,每个executor一般是执行一个task(spout或者bolt计算逻辑),当然可以配置多个task,但是就需要串行了,一般一个task对一个executor

这些信息大部分在stormui上都可以看到

在stormui上 Nimbus Configuration部分可以看到集群的一些配置信息,包括zookeeper的

slot: 一个superviser 机器上,最多起多少个worker进程

一个Spout/Bolt在运行时可能对应一个或多个Spout Task/Bolt Task,与实际在编写Topology时进行配置有关。

Topology :Storm对一个分布式计算应用程序的抽象,目的是通过一个实现Topology能够完整地完成一件事情(从业务角度来看)。一个Topology是由一组静态程序组件(Spout/Bolt)、组件关系Streaming Groups这两部分组成。

相关文章

  • storm nimbus superviser slot wor

    nimbus 是集群的管理节点 superviser : 一个superviser 在一台机器上, 它本身是一个进...

  • storm 启动 uimbus ui supervisor卡死解

    storm uimbus执行以后,卡死,jps中有nimbus,如下图 storm ui 、storm super...

  • 45Scala介绍

    在介绍一下storm的容错机制,storm容错机制1、集群节点宕机 Nimbus服务器单点故障? 非Nimbus服...

  • 使用daemontools运维storm

    storm作者的wiki Fault-tolerance 写到:the Nimbus and Supervisor...

  • 好程序员大数据培训分享:Storm架构

    好程序员大数据培训:Storm架构,Storm架构:master/slave 主节点:Nimbus 负责在集群上进...

  • storm第三天

    1.storm缺点:单节点nimbus,挂掉只能自动重启2storm topology的并发度(优化)3消息机制

  • Storm 核心构建及分组

    Storm核心组件:Topology:Storm中运行一个实时应用程序的名称。Nimbus:负责资源分配和任务调度...

  • Storm Nimbus的HA

    Storm在1.0之后对nimbus支持了HA,根据官方提供的文档,同样是利用了zk来做分布式锁,并且配置文件中新...

  • Apache Storm工作流程

    Apache Storm工作流程 一个工作的Storm集群应该有一个Nimbus和一个或多个supervisors...

  • Storm集群开启HA高可用

    Storm开启HA高可用,包括Nimbus和UI开启两个及以上的进程。基于已经安装好的Storm集群,开启关键节点...

网友评论

      本文标题:storm nimbus superviser slot wor

      本文链接:https://www.haomeiwen.com/subject/xqdqsftx.html