Hadoop集群动态增加节点

一、集群基础环境配置

1. 关闭防火墙
2. 配置ntp服务时钟，与主节点同步: server 90.0.25.1
3. 配置SSH免密登录
4. 配置hosts文件：vim /etc/hosts
5. 安装jdk

二、Hadoop配置

1. Hadoop安装包

2. 修改slaves配置,分发到各个节点

3. 把/etc/hadoop下的配置文件发送到新节点，并新建相关目录：mkdir tmp journaldata name data logs pids

4. 注意修改/etc/profile配置文件，并使配置生效

5. 在新节点上启动DataNode：./hadoop-daemon.sh start datanode

6. 在主节点上执行：hdfs dfsadmin -refreshNodes

7. 查看列表信息：hdfs dfsadmin -report

8. 设置负载均衡带宽：hdfs dfsadmin -setBalancerBandwidth 67108864

数据传输带宽默认为1M，这里设置为64M

9. hdfs负载均衡：./sbin/start-balancer.sh -threshold 1

磁盘总利用率与各个节点的利用率之差的绝对值不超过1%。
执行该操作后，会看到其他节点上的block转移到新加入的节点上。

小插曲：在生产环境上，执行以上操作后随即启动Regionserver，导致平台无法访问HBase，业务受到影响。吓得我立马停掉新的Regionserver平台才得以恢复。
原因：这里需要等待Hadoop集群blocks达到平衡。

三、HBase配置

1. HBase安装包，解压
2. 修改/etc/profile配置文件，并使其生效
3. 修改regionservers的配置，并发送到所有节点
4. 将其他节点的conf目录发送到新节点
5. 创建相关目录：mkdir pids tmp logs
6. 启动regionserver：./hbase-daemon.sh start regionserver
7. 负载均衡，进入hbase shell执行：balance_switch true