集群部署

环境准备

ssh免密码登陆、zookeeper 部署、python 2.7+

集群部署

# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_131
export SCALA_HOME=/usr/local/scala-2.12.2
export STORM_HOME=/usr/local/apache-storm-1.1.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$STORM_HOME/bin:$PATH

# vim ${STORM_HOME}/conf/storm.yaml
 storm.zookeeper.servers:
     - "192.168.0.152"
     - "192.168.0.153"
     - "192.168.0.154"
 storm.zookeeper.port: 2181
 storm.local.dir: "/data/storm"

 nimbus.seeds: ["192.168.0.155", "192.168.0.152"]

 ui.host: 0.0.0.0
 ui.port: 19520

 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

常用配置

storm.zookeeper.servers: zookeeper服务器列表
storm.zookeeper.port: zookeeper服务器端口
storm.local.dir: storm使用本地系统目录
storm.cluster.mode: 集群运行模式  distributed | local
storm.zookeeper.session.timeout: 客户端连接zookeeper超时时间
nimbus.host: nimbus服务器地址
nimbus.task.timeout.secs: task存活的心跳超时时间
nimbus.supervisor.timeout.secs: supervisor存活心跳超时时间
nimbus.task.launch.secs: task启动超时
ui.host: storm ui的服务器
ui.port: storm ui的端口
drpc.servers: drpc服务器列表
drpc.port: drpc服务器端口
supervisor.worker.timeout.secs: worker存活心跳超时时间
supervisor.worker.start.timeout.secs: supervisor初始超时时间

启动服务

# nimbus主机启动（包括HA节点）
nohup bin/storm nimbus >/dev/null 2>&1 &
nohup bin/storm ui >/dev/null 2>&1 &

# supervisor主机启动
nohup bin/storm supervisor >/dev/null 2>&1 &

# 所有主机启动
nohup bin/storm logviewer >/dev/null 2>&1 &

查看服务进程

jps