Hadoop高可用环境搭建

在Hadoop环境搭建中，我们配置多个DataNode保证了DataNode的高可用，但是NameNode是单点的，在生产环境存在风险。接下来配置Hadoop的高可用，其实就是NameNode的高可用。

配置文件修改

• core-site.xml

<configuration>
<!-- 注意fs.defaultFS、ha.zookeeper.quorum配置项 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/bigdata/software/hadoop-2.7.3/data/temp</value>
</property>
<property> 
    <name>ha.zookeeper.quorum</name>  
    <value>master,slave01,slave02</value> 
</property> 
</configuration>

• hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave01:50090</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<!-- HA配置开始 -->
<property> 
    <name>dfs.nameservices</name>  
    <value>mycluster</value> 
</property>  
<property> 
    <name>dfs.ha.namenodes.mycluster</name>  
    <value>nn1,nn2</value> 
</property>  
<property> 
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>  
    <value>master:9000</value> 
</property>  
<property> 
    <name>dfs.namenode.http-address.mycluster.nn1</name>  
    <value>master:50070</value> 
</property>  
<property> 
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>  
    <value>slave01:9000</value> 
</property>  
<property> 
    <name>dfs.namenode.http-address.mycluster.nn2</name>  
    <value>slave01:50070</value> 
</property>  
<property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://master:8485;slave01:8485;slave02:8485/mycluster</value> 
</property>  
<property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/usr/local/bigdata/software/hadoop-2.7.3/data/journal</value> 
</property>  
<property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
</property>  
<property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/hadoop/.ssh/id_rsa</value> 
</property>  
<property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
</property>  
<!-- HA配置结束 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/bigdata/software/hadoop-2.7.3/data/temp/dfs/data</value>
</property> 
</configuration>

启动集群

当前机器的配置为master、slave01、slave02，master和slave01为NameNode

1. 启动zookeeper集群

2. 启动journalnode集群
   hadoop-daemons.sh start journalnode

3. 格式化zkfc,让在zookeeper中生成ha节点
   hdfs zkfc -formatZK

4. 格式化hdfs
   hadoop namenode –format

5. 启动NameNode
   在master节点执行
   hadoop-daemon.sh start namenode

   把NameNode的数据同步到slave01上
   hdfs namenode –bootstrapStandby
   启动slave02上的namenode作为standby
   sbin/hadoop-daemon.sh start namenode

6. 启动启动datanode
   hadoop-daemons.sh start datanode

7. 启动yarn
   start-yarn.sh

8. 启动ZKFC
   hadoop-daemons.sh start zkfc

遇到的问题

• 主被切换失败

配置如下：
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

fs.ha.fencing.methods参数解释:

系统在任何时候只有一个namenode节点处于active状态。在主备切换的时候，standby namenode会变成active状态，原来的active namenode就不能再处于active状态了，否则两个namenode同时处于active状态会有问题。所以在failover的时候要设置防止2个namenode都处于active状态的方法，可以是Java类或者脚本。

fencing的方法目前有两种，sshfence和shell

sshfence方法是指通过ssh登陆到active namenode节点杀掉namenode进程，所以你需要设置ssh无密码登陆，还要保证有杀掉namenode进程的权限。

启动后发现namenode日志：org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election

解决：
namenode节点执行：yum -y install psmisc

注意点

• Hadoop配置HA后，HBase集群配置的修改

  1. hbase-site.xml中，rootdir改为和hadoop的dfs.nameservices一样，
  2. hadoop的core-site.xml和hdfs-site.xml拷贝到hbase的conf下，然后重启hbase

• 同步主namenode数据到备namenode
  1.是一个新的HDFS集群，还要首先执行格式化命令"hdfs namenode -format"，紧接着启动本NameNode进程。

  2.存在一个已经格式化过的NameNode，并且已经启动了。那么应该把该NameNode的数据同步到另一个没有格式化的NameNode。在未格式化过的NameNode上执行命令"hdfs namenode -bootstrapStandby"。

  3.非HA集群转成HA集群，应该运行命令"hdfs namenode -initializeSharedEdits"，这会初始化JournalNode中的数据。