hadoop HA（high available）集群搭建

这篇文章重现了我自己用七台centos6.7mnimal虚拟机搭建一个ha hadoop集群的过程。（之前配置虚拟机和搭建hadoop集群的文章：虚拟机的配置和Hadoop集群的配置）

环境准备

从以前安装的虚拟机克隆7台（已经装好jdk，hadoop）。

• vi /etc/udev/rules.d/70-persistent-net.rules(把eth1改为eth0，删除eth0所在行)
• vi /etc/sysconfig/network（修改主机名）
• vi /etc/sysconfig/network-scripts/ifcfg-eth0（配置ip）
• service iptables status（确认防火墙关闭）
• reboot
• vi /etc/hosts配置hosts
• ssh免密登陆配置（ssh-keygen,ssh-copy-id xxx）
• 确定安装好jdk，配置好环境变量

集群规划

主机名	IP	安装的软件	运行的进程
ha1	192.168.23.205	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)
ha2	192.168.23.206	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)
ha3	192.168.23.207	jdk、hadoop	ResourceManager
ha4	192.168.23.208	jdk、hadoop	ResourceManager
ha5	192.168.23.209	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
ha6	192.168.23.210	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
ha7	192.168.23.211	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain

• 这里有两个NameNode，一个处于active状态，一个处于standby状态。ActiveNamenode对外提供服务，而StandbyNamenode则不对外提供服务，仅同步active namenode的状态，以便在故障时快速进行切换。hadoop2.0提供了两种HDFS HA的解决方案，NFS和QJM，这里我们使用QJM。在该方案中两个namenode间通过JournalNode同步元数据信息，一条数据只要写入JournalNode即认为写入成功。通常配置奇数个JournalNode，依靠zookeeper来协调。这里还配置了一个zookeeper集群，用于ZKFC故障转移。ResourceManager也是有一个Active，一个Standby，状态由zookeeper进行协调。

安装

zookeeper集群和简单的hadoop集群搭建前面已经介绍过
关于zookeeper：配置的要点是zoo.cfg（配置dataDir，server）和myid（在dataDir中），然后拷贝分发到奇数个节点（加上这个）上（mkdir datadir，修改myid）。
关于hadoop，添加环境变量，然后配置$HADOOP_HOME/etc/hadoop下的文件：

• hadoop-env.sh
  export JAVA_HOME=/apps/jdk1.7.0_45
• core-site.xml

<configuration>
<!-- 指定hdfs的nameservice为bigdata，两个namenode的逻辑名称 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata/</value>
</property>
<!-- 指定zookeeper地址，ha机制依赖于zookeeper -->
<property>
<name>ha.zookeeper.quorum</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
</configuration>

• hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为bigdata，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>bigdata</value>
</property>
<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.bigdata</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn1</name>
<value>ha1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn1</name>
<value>ha1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn2</name>
<value>ha2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn2</name>
<value>ha2:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://ha5:8485;ha6:8485;ha7:8485/bigdata</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.bigdata</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行，防止脑裂-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间，超时则执行shell脚本 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

• mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

• yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>ha3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>ha4</value>
</property>
<!-- 指定zk集群地址，yarn的高可用借助zookeeper实现 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

• slaves（datanode，nodemanager的主机）

ha5
ha6
ha7

• 配置文件改好后，将hadoop拷贝到其他节点

scp -r /hadoop ha2:/
……

启动（按照顺序）

• 启动zookeeper集群

cd /hadoop/apps/zookeeper-3.4.5/bin/
./zkServer.sh start
./zkServer.sh status

• 启动JournalNode

cd /hadoop/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode

• 格式化hdfs

hdfs namenode -format
然后拷到另一个namenode下
scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/
（hdfs namenode -bootstrapStandby）

生成了hdpdata的数据

• 格式化zkfc（在ha1上执行一次即可）

hdfs zkfc -formatZK
可以/zookeeper/bin/zkCli.sh连上去查看

• 启动hdfs

start-dfs.sh

• 启动yarn

start-yarn.sh

启动hdfs的过程 启动yarn的过程
启动yarn时还需要手动起ha4主机上的resourcemanager（可能那个脚本没写好）：
yarn-daemon.sh start resourcemanager
高可用的hadoop集群在这里配置完毕！
ha解决了hadoop 1namenode的单点故障问题，federation解决了扩容问题，namenode容量可以水平拓展。