美文网首页
Storm集群的搭建

Storm集群的搭建

作者: 扣篮的左手 | 来源:发表于2018-09-04 18:22 被阅读0次

版本1.1.1
解压storm的tar包到指定的目录
然后修改配置文件



yaml配置文件的格式要求
1,大小写敏感;
2,使用缩进代表层级关系;
3,缩进只能使用空格,不能使用TAB,不要求空格个数,只需要相同层级左对齐(一般2个或4个空格)



首先修改zookeeper的地址,然后是nimbus的节点,其中一个是主节点,还有storm本地存储目录,管理界面的端口号。supervisor中进程的端口号,一个端口号对应着一个slot,也就是进程,根据实际需求添加或者减少。
注意短横线和冒号后边有空格

配置好之后分发到其它节点上:


nimbus节点的启动,在storm目录下运行:

nohup bin/storm nimbus >/dev/null 2>&1 &

启动nimbus节点之后启动supervisor,supervisor节点相当于Hadoop中的DataNode节点。

supervisor节点的启动:

nohup bin/storm supervisor >/dev/null 2>&1 &

管理界面也是一个进程需要启动:

nohup bin/storm ui >/dev/null 2>&1 &

启动日志记录进程(每台机器都需要启动):

nohup bin/storm logviewer >/dev/null 2>&1 &

然后其它节点上也启动nimbus和supervisor进程:
注意命令是在storm目录下执行


根据配置文件storm.yaml中的ui端口号,访问storm的管理界面:


可以看到,之前配置的每个节点上4个slot,3个节点一共12个slot,主节点是node-1,也就是正在使用的Nimbus。

相关文章

  • 34 如何将代码打包部署到storm 集群运行

    上一篇 storm 集群搭建, 主要讲解storm 集群搭建,本篇结合上一篇如何将代码打包部署到storm 集群运...

  • Storm集群搭建

    Storm集群搭建 1、下载StormApache官方下载Storm链接为:http://storm.apache...

  • 大数据基础知识学习-----Storm学习笔记(三)Storm集

    Storm集群搭建 环境准备 jar包下载 安装集群步骤:http://storm.apache.org/rele...

  • Zookeeper+Storm集群搭建

    基础集群环境参考上一篇文章:集群基础环境搭建 Storm集群架构 Storm是Master-Slaves 主从架构...

  • 2. 搭建 CentOS 集群 - 介绍

    搭建一个4个节点的 CentOS 集群,支撑接下来演示环境中 Redis 集群、Storm 集群、Nginx、To...

  • storm集群搭建

    要搭建storm集群,需要准备一下软件。 1、JDK1.7 2、Zookeeper3.4.5 3、Storm0.9...

  • Storm集群搭建

    近来公司项目步入大数据的范畴,需要Spark、Storm方面的知识储备。在学习了Scala之后,进入正式的开发准备...

  • Storm集群的搭建

    版本1.1.1解压storm的tar包到指定的目录然后修改配置文件 yaml配置文件的格式要求1,大小写敏感;2,...

  • Storm 测试

    本文将学习如何使用java创建Storm拓扑 Storm集群的组件 Storm集群类似于Hadoop集群,只不过 ...

  • 启动/停止集群脚本

    启动zookeeper集群脚本 停止zookeeper集群脚本 启动Storm集群脚本 停止Storm集群脚本 提...

网友评论

      本文标题:Storm集群的搭建

      本文链接:https://www.haomeiwen.com/subject/wmhgiftx.html