Storm组件部署-单节点

1.参考目录

1.Apache Storm简介及安装部署

2.Toplogy作业提交

3.Storm基础

4.nohup /dev/null 2>&1 含义详解

2.部署前提

1.三台机器master(Nimbus)、master2(Supervisor)、slave(Supervisor)，配置了网络、ip、主机名、主机名和ip的映射、三台机器的免密登录。

2.安装JDK1.8、Python 2.7.5、Zookeeper3.4.6、Apache Storm1.0.6

3.Storm安装目录位于/usr/local/

3.配置Storm

Storm是实时流计算框架。

(1).解压

# 解压文件到指定路径"/usr/local"
tar -zxvf apache-storm-1.0.6.tar.gz -C /usr/local/

(2).添加环境变量

# 打开当前用户的环境变量
vi .bash_profile
# 追加以下环境变量内容
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin
# 重新声明环境变量
source .bash_profile

(3).修改配置文件: storm.yaml

## Storm 关联的 ZooKeeper 集群的地址列表
storm.zookeeper.servers:
    - "master"
    - "master2"
    - "slave"
 
## Nimbus 和 Supervisor 后台进程都需要一个用于存放一些状态数据（比如 jar 包、配置文件等等）的目录
storm.local.dir: "/tmp/storm"
 
## 用于配置主控节点的地址，可以配置多个。从Storm1.0开始，支持Nimbus的HA。
nimbus.seeds: ["master"]
 
## 配置每个 Supervisor 机器能够运行的工作进程（worker）数。每个 worker 都需要一个单独的端口来接收消息，
## 这个配置项就定义了 worker 可以使用的端口列表。如果你在这里定义了 5 个端口，那么 Storm 就会在该机器上分配最多 5 个worker。
## 如果定义 3 个端口，那 Storm 至多只会运行三个 worker。
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
# 指定ui的端口
ui.port:4321

(4).将修改之后的Storm和环境变量同步到其他两台节点中

# 1.同步安装包
scp -r storm/ master2:/usr/local/
scp -r storm/ slave:/usr/local/
# 2.同步环境变量
scp .bash_profile master2:/root/
scp .bash_profile slave:/root/
# 3.在另外两个节点中重新声明环境变量
source .bash_profile

(5).启动Storm集群

命令详解：

1.nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思( n ohang up)。

2."& 1" 更准确的说应该是文件描述符 1,而1 一般代表的就是STDOUT_FILENO,实际上这个操作就是一个dup2(2)调用.他标准输出到all_result ,然后复制标准输出到文件描述符2(STDERR_FILENO),其后果就是文件描述符1和2指向同一个文件表项,也可以说错误的输出被合并了

3.STDOUT_FILENO：对应的数字代表其中：0 表示键盘输入; 1表示屏幕输出; 2表示错误输出.

4."2>&1 &" 是将标准出错重定向到标准输出，这里的标准输出已经重定向到了/dev/null文件，即将标准出错也输出到/dev/null文件中。最后一个& ， 是让该命令在后台执行。

# 1.在master节点上启动UI和Nimbus
nohup storm ui >/dev/null 2>&1 &
nohup storm nimbus >/dev/null 2>&1 &
# 2.在master2和slave节点上启动Supervisor
nohup storm supervisor >/dev/null 2>&1 &

(6).查看集群的进程信息

# 1.master
[root@master ~]# jps
1104 QuorumPeerMain
1376 nimbus
1249 core
1532 Jps
# 2.master2
[root@master2 ~]# jps
1211 Supervisor
1339 Jps
1055 QuorumPeerMain
# 3.slave
[root@slave ~]# jps
1089 QuorumPeerMain
1186 Supervisor
1355 Jps

(7).Storm Web UI

注意事项：

1. Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
2. 经测试，Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。
3. 为了方便使用，可以将bin/storm加入到系统环境变量中。