HDFS NameNode HA环境部署

为什么要搭建NameNode HA？

因为hadoop中NameNode存在单节点故障。hadoop1.x 中的Secondarynamenode仅仅使用了合并namenode中的edit文件和fsimage文件（并做备份），防止edit文件过大，NameNode重启时会读取大量的编辑文件，导致启动很慢。但是它只是namenode的一个协助节点，在namenode出现故障后，不能由它来接手namenode。

NameNode HA原理

QQ图片20161016183256.png

1. 首先由两个namenode节点，为了保持两个NameNode内存中存储文件系统的系统元数据要同步(fsimage和edit等文件)。所以通过配置Quorum Journal Node节点，一个namenode节点向JN节点写入要共享的数据，另外一个namenode节点从JN节点读数据。为了保证共享数据的安全性，JN节点也为多个。
2. 如果同时又两个namenode节点对外提供访问，会导致数据的不一致性。所以要保证一个为active状态，另外一个为standby(备用)状态。同时当active宕掉，为了standby能够迅速转换为active状态，所以datanode需要同时向这两个namenode节点发送数据位置信息和心跳。
3. 需要配置隔离机制来保证有且仅有一个namenode对外提供服务。防止裂脑(两个namenode节点都可以命令datanode)的发生。
4. 客户端不知道向哪一个namenode为活动状态，所以也不知道向哪一个节点发送请求。需要在前面加一层代理，让代理来决定访问哪一台机器。
5. 前面的问题解决后，active和standby之前的切换必须手动。结合Zookeeper集群中Zookeeper faileover controller（ZKFC）故障转移监控器 来监控节点并自动的将standby切换到active。

HA配置步骤

1. 对hdfs-site.xml文件进行配置，并分发到其余两个节点

        <!-- 为这个namenode集群设置一个命名-->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>
        <!-- 这个nameservices节点下namenode的命名 -->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>
       <!-- 配置两个namenode节点的位置 -->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>bigdata-00:8020</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>bigdata-01:8020</value>
        </property>
        <!-- 配置两台namenode外部web UI 端口 -->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>bigdata-00:50070</value>
        <property>
        </property>
        </property>
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>bigdata-01:50070</value>
        </property>        
        <!-- 编辑日志文件存储的节点(JN) -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://bigdata-00:8485;bigdata-01:8485;bigdata-02:8485/ns1</value>
        </property>
        <!-- 各个JN节点存放日志文件位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/app/hadoop-2.5.0/data/dfs/jn</value>
        </property>
        <!-- 配置HDFS客户端去连接active namenode节点 -->
        <property>     
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</va
lue>
        </property>
        <!-- 配置隔离机制-->
        <property>
                 <name>dfs.ha.fencing.methods</name>
                  <value>sshfence</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/wulei/.ssh/id_rsa</value>
        </property>

2. 对core-site.xml文件进行配置

        <!-- 指定namenode存储元数据和日志文件的目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/app/hadoop-2.5.0/data/tmp</value>
        </property>
        <!-- 配置nameservices作为文件系统-->
        <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://ns1</value>
        </property>

3. 每个节点启动journalnode和namenode服务

• 三个节点启动journalnode服务。

  
  jn1.png
• 对其中一个namenode进行格式化

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs namenode -format

• 启动namenode服务,查看节点状态

[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-wulei-namenode-bigdata-00.out
[wulei@bigdata-00 hadoop-2.5.0]$ jps
5095 JournalNode
5338 NameNode
5406 Jps

nn1.png

• 把nn1的fsimage文件同步到nn2上,再启动nn2中的namenode查看状态。

  
  nn2.png
  nn3.png
• 手动切换nn1的状态为active，并启动三个datanode节点

$ bin/hdfs haadmin -transitionToActive nn1

nn4.png
dn1.png

3. 测试两个namenode之间数据是否能同步(在active节点上创建目录，然后结束这个active nemenode节点，把另外一个standby节点转换为active节点，看是否能访问目录)

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn2 --forceactive
[wulei@bigdata-01 hadoop-2.5.0]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x - wulei supergroup 0 2016-10-21 10:31 /test

4. 借助zookeeper集群来配置namenode HA自动故障转移

• 在部署好zookeeper集群后并启动进程

[wulei@bigdata-00 hadoop-2.5.0]$ jps
9155 QuorumPeerMain
[wulei@bigdata-01 hadoop-2.5.0]$ jps
5195 QuorumPeerMain
[wulei@bigdata-02 hadoop-2.5.0]$ jps
3886 QuorumPeerMain

• 对文件增加配置，并分发给其他节点
  hdfs-site.xml

<!-- 启动自动故障转移功能-->
<property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
 </property>

core-site.xml

<!-- zookeeper高可用的主机和端口-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>bigdata-00:2181,bigdata-01:2181,bigdata-02:2181</value>
    </property>

• 初始化zookeeper HA状态，生成znode节点(每个节点对应一个目录)

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK

• 客户端连接zookeeper，查看节点是否创建成功

[wulei@bigdata-00 hadoop-2.5.0]$ zookeeper-3.4.6/bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 3] ls /
[zookeeper, hadoop-ha]
[zk: localhost:2181(CONNECTED) 4] ls /hadoop-ha
[ns1]

• 启动集群服务进程后，在两个namonode节点上启动ZKFC服务

[wulei@bigdata-00 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc
[wulei@bigdata-01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc

• 查看两个namenode节点状态。可以发现已经通过选举自动选出了一个active，另外一个作为standby。

  
  zk1.png
  zk2.png
• 启动resourcemanager和nodemanager。在active上运行mapreduce程序，中途关闭active的节点后，查看程序运行情况和nn2的状态。会发现程序任然可以执行，为standby状态的节点自动转换为active。

[wulei@bigdata-00 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /test/in/ /test/out

tt1.png
tt2.png