一、任务清单(一)

由于大量的MR任务会造成系统盘负载100%util，使用iotop分析主要是YARN任务造成的，因此需要把YARN的数据目录/yarn/nm迁移到独立磁盘上。

主要操作是将YARN NodeManager角色的local-dir和log-dir数据目录迁移。
依次迁移：dn4、dn5、dn6、dn7、dn8、dn9(独立磁盘) ，CDH官方也建议多个目录。

CDH-->YARN-->实例-->NodeManager角色-->停止
chmod 755 /dfs/dn1
mkdir /dfs/dn1/yarn
chown yarn:hadoop /dfs/dn1/yarn
mv /yarn/* /dfs/dn1/yarn

# 修改对应NodeManager 配置
yarn.nodemanager.local-dirs=/dfs/dn1/yarn/nm
yarn.nodemanager.log-dirs=/dfs/dn1/yarn/container-logs
CDH-->YARN-->实例-->NodeManager角色-->启动

二、任务清单(二)

新加入节点dn8后手动执行rebalance（源dn8服务器在6月12日发生故障，此节点上所有角色均不可用，因此做dn8下线，并添加新的dn8服务器）

2.1 指定节点负载均衡

sudo -u hdfs hdfs balancer -D dfs.datanode.balance.max.concurrent.moves=10 -threshold 1.4 -include dn8.hostname.srv,cdh1.hostname.srv

2.2 查看日志：

19/06/13 18:07:48 INFO balancer.Dispatcher: Successfully moved blk_1077179740_3439329 with size=92588000 from IP:50010:DISK to IP:50010:DISK through IP:50010

三、任务清单(三)

角色	源主机	目标主机
HDFS Balance	cdh1.hostname.srv	cdh7.hostname.srv
HDFS NFS GateWay	cdh1.hostname.srv	cdh8.hostname.srv
YARN JobHistory Server	cdh1.hostname.srv	cdh9.hostname.srv
YARN ResourceManager	cdh1.hostname.srv	cdh6.hostname.srv
HBase Thrift Server	cdh1.hostname.srv	cdh7.hostname.srv
HBase Master备	cdh1.hostname.srv	cdh9.hostname.srv
HBase Master主	cdh2.hostname.srv	cdh6.hostname.srv
Alert Publisher	cdh1.hostname.srv	cdh8.hostname.srv
Service Monitor	cdh1.hostname.srv	cdh7.hostname.srv
Host Monitor	cdh1.hostname.srv	cdh8.hostname.srv

3.1 HBase 各角色迁移

3.1.1 Hbase Master 角色

• CDH---->HBase---->实例---->选择Master(备用)---->停止---->删除

• CDH---->HBase---->实例---->添加角色实例---->Master 选择新主机---->完成---->返回实例页面---->启动新加入的Master(此时新加入的Master为备用节点)

备注： 无数据目录，无需备份，无依赖组件，无需重启集群，迁移Master(活动)节点时，会发生主备切换。

3.1.2 HBase Thrift/REST Server 角色

• 停止业务对HBase Thrift/REST Server 的调用。

• CDH---->HBase---->实例---->选择HBase Thrift/REST Server---->停止

• CDH---->HBase---->实例---->添加角色实例---->HBase Thrift/REST Server ---->完成---->返回实例页面---->启动新加入的HBase Thrift/REST Server 角色

• CDH---->HBase---->实例---->选择旧的HBase Thrift/REST Server 角色---->删除

备注： 无数据目录，无需备份，无依赖组件，无需重启集群。

3.2 HDFS 各角色迁移

3.2.1 HDFS Balance 角色

• CDH---->HDFS---->实例---->Balancer---->删除。（目前处于不适用状态，无需停止）

• CDH---->HDFS---->实例---->添加角色实例---->Balancer---->完成。（无需点击启动）

备注： 无数据目录，无需备份，

3.2.2 HDFS NFS GateWay 角色

• 迁移到新节点上，需要安装rpcbind，并启动此服务【sudo service rpcbind restart 】。

• CDH---->HDFS---->实例---->NFS Gateway角色---->停止---->删除

• CDH---->HDFS---->实例---->添加角色实例-->NFS Gateway---->完成---->启动新加入的NW角色。

备注： 无数据目录，依赖rpcbind服务。无需重启其他服务，

3.3 YARN 各角色迁移

3.3.1、JobHistory Server 角色

CDH---->YARN---->实例---->JobHistory Server角色---->停止---->删除

CDH---->YARN---->实例---->添加角色实例---->JobHistory Server角色---->启动
重启过时服务，YARN、Hive、Spark、Spark2等过时服务。

备注： 无数据目录，无需备份，无依赖服务，

3.3.2 ResourceManager 角色

• CDH---->YARN---->实例---->ResourceManager角色---->停止

• CDH---->YARN---->实例---->添加角色实例---->ResourceManager角色---->完成---->启动新加入的ResourceManager角色

• CDH---->YARN---->实例---->旧的ResourceManager角色---->删除

• 重启过期服务，会重启YARN和HIve、Spark、Spark2过期服务

备注： 无数据目录，无需备份。

3.4 Cloudera Management Service 各角色迁移

4.1、Alert Publisher 角色

• 记录Alert Publisher角色配置 邮件信息。

• CDH---->Cloudera Management Service---->实例---->Alert Publisher角色---->停止---->删除

• CDH---->Cloudera Management Service---->实例---->添加角色实例---->Alert Publisher角色---->启动

备注： 记录邮件配置信息。

4.2 Host Monitor 角色

• 数据目录在/var/lib/cloudera-host-monitor/， 占用磁盘空间比较大。建议压缩备份。

• CDH---->Cloudera Management Service---->实例----> Host Monitor角色---->停止---->删除

• 拷贝压缩备份文件到新机器上，解压到/var/lib目录下。

• CDH---->Cloudera Management Service---->实例---->添加角色实例---->Host Monitor角色---->启动

备注： 存在数据目录，迁移的话，可以看到历史监控数据，主要是集群(CPU、磁盘IO、网络IO等），但是迁移的话数据目录比较大。如果不需要迁移，请忽略第1、3步骤。不影响集群正常使用。

4.3 Reports Manager 角色

• 数据目录：/var/lib/cloudera-scm-headlamp， 压缩备份。

• CDH---->Cloudera Management Service----->实例----> Reports Manager角色---->停止---->删除

• 拷贝压缩备份文件到新机器上，解压到/var/lib目录下

• CDH---->Cloudera Management Service---->实例---->添加角色实例---->Reports Manager角色---->需要配置数据库，主机名、数据库名、用户名、密码。

• 启动新加入的Reports Manager角色。

备注： 存在数据目录，需要做数据迁移。 存在数据库 report，如有变更，需要修改配置。

4.4 Service Monitor 角色

• 数据目录：/var/lib/cloudera-service-monitor， 比较大。压缩备份。

• CDH---->Cloudera Management Service---->实例---->Service Monitor角色---->停止---->删除

• 拷贝压缩备份文件到新机器上，解压到/var/lib目录下。

• CDH---->Cloudera Management Service---->实例---->添加角色实例---->Service Monitor角色---->启动

备注： 存在数据目录，需要做数据迁移。无依赖服务。

4.5 Event Server 角色

• 索引目录：/var/lib/cloudera-scm-eventserver， 压缩备份。

• CDH---->Cloudera Management Service---->实例----> Event Server角色---->停止---->删除

• 拷贝压缩备份文件到新机器上，解压到/var/lib目录下。

• CDH---->Cloudera Management Service---->实例---->添加角色实例----> Event Server角色---->启动

• 重启依赖发服务、依次重启过时服务，选择Hbase、HDFS、YARN、Zookeeper等，主要是log相关。

备注： 存在索引目录，需要做数据迁移。有依赖服务，需要重启过期服务，不适合在线迁移。