部署Hadoop High Avalability

• 部署规划
  zookeeper集群需要奇数台机器，至少需要三台机器。hadoop集群至少需要2台机器。因此至少准备三台虚拟机。
  规划每台机器的主机名，IP，和扮演的角色，如下图。
  Hadoop HA 规划.png
• 修改Linux主机名和IP
  根据规划
  1）将网卡IP获取方式修改为Manuel，并配置每台机器的IP。
  2）修改/etc/hosts内容将三台机器的主机名和IP填写进去。
• 配置ssh免密登录并关闭防火墙
  根据规划，master需要免密登录到slave0、slave1，以启动hadoop集群；同时slave1上启动resourcemanager，所以需要slave1免密登录到master和slave0；master和slave0同为namenode，一个宕机就启动另一个，所以要互相能免密登录。
  综上，将master公钥发送到slave0、slave1；将slave1公钥发送到master、slave0；将salve0公钥发送到master。其中主要使用到的Linux命令有：

ssh-keygen -t rsa  
cat ./id_rsa.pub >> ./authorized_keys
scp ~/.ssh/id_rsa.pub user@hostname:/home/hadoop/
chmod 700 ./authorized_keys  //权限不够会导致配置失败
service iptables close
chkconfig iptables off ```

- **配置环境变量并部署集群**
在master节点上安装JDK，Hadoop，Zookeeper并配置环境变量，然后scp到其他节点上（JDK就不写了）。
1）安装zookeeper集群
主要修改配置文件conf/zoo.cfg

dataDir=/weekend/zookeeper-3.4.5/tmp
server.1=master:2888:3888server.2=slave0:2888:3888
server.3=slave1:2888:3888

2）安装hadoop集群
主要修改5个配置文件:
**core.xml**

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/workspace/hdfs/temp</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,slave0:2181,slave1:2181</value>
</property>
</configuration>

**hdfs-site.xml**

<configuration>

<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>

<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>master:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>master:50070</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>slave0:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>slave0:50070</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave0:8485;slave1:8485/ns</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/workspace/journal</value>
</property>

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>

<property>    
    <name>dfs.namenode.name.dir</name>    
    <value>file:///home/hadoop/workspace/hdfs/name</value>    
</property>    

<property>    
    <name>dfs.datanode.data.dir</name>    
    <value>file:///home/hadoop/workspace/hdfs/data</value>    
</property>    

<property>    
   <name>dfs.replication</name>    
   <value>2</value>    
</property>   
<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->                                                                    
<property>    
   <name>dfs.webhdfs.enabled</name>    
   <value>true</value>    
</property>    

</configuration>

**mapred-site.xml**

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

**yarn-site.xml**

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
</configuration>

**slaves**

master
slave0
slave1

- **启动zookeeper集群**
一、首次启动：
**01**
启动zookeeper集群：分别在三个节点上启动zookeeper

zkServer.sh start```
启动后用如下命令验证，集群启动成功，有两个follower节点跟一个leader节点；

[hadoop@master bin]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

02
启动journalnode集群（在master的hadoop目录下执行以下命令）：

sbin/hadoop-daemons.sh start journalnode

03
格式化hdfs（在master上执行以下命令）：

hadoop namenode –format

04
格式化zkfc,让在zookeeper中生成ha节点（在master上执行以下命令）：

hdfs zkfc –formatZK

05
启动HDFS（在master上执行以下命令）：

sbin/start-dfs.sh

06
启动YARN（在slave1上执行以下命令）：

sbin/start-yarn.sh

二、再次启动
01
启动zookeeper(分别启动)：

zkServer.sh start

02
启动hdfs(master的hadoop目录下)：

sbin/start-dfs.sh

03
启动yarn(在slave1的hadoop目录下)：

sbin/start-yarn.sh

三、启动成功后的进程

#master上的java PID进程
[hadoop@master hadoop-2.7.3]$ jps
2837 NodeManager
3054 DFSZKFailoverController
4309 Jps
2692 DataNode
2173 QuorumPeerMain
2551 NameNode
2288 JournalNode
#slave0上的java PID进程
[hadoop@salve0 ~]$ jps
2869 DFSZKFailoverController
2353 DataNode
2235 JournalNode
4522 Jps
2713 NodeManager
2591 NameNode
2168 QuorumPeerMain
#slave1上的java PID进程
[hadoop@slave1 ~]$ jps
2167 QuorumPeerMain
2337 JournalNode
3506 Jps
2457 DataNode
2694 NodeManager
2590 ResourceManager

• 可能遇到的错误
  01
  运行zookeeperd的启动脚本显示启动成功，但用zkServer.sh status查看，反馈如下：

JMX enabled by default  
Using config: /data/programfiles/zookeeper-3.4.9/bin/../conf/zoo.cfg  
Error contacting service. It is probably not running.  

原因：在/data里面查找zookeeper_server.pid这个文件，里面保存的是zookeeper的启动id，当服务器重启时zookeeper非正常退出，这个zookeeper_server.pid的值没有被清除，当执行zookeeper启动脚本时发现这个文件的值，就以为zookeeper已经启动。
解决方案：把zookeeper_server.pid里面的内容清空，zookeeper就能正常启动。
02
节点启动失败
原因：hadoop集群所有的用户名要一样，因为虽然可以用ssh hadoop@hadoop1代替ssh hadoop1，这让我们觉得没有必要让hadoop每台自己的用户名一样。这样想是不对的。因为ssh远程无密码登入可以用ssh hadoop@hadoop1。但是hadoop内部是不会这样智能处理的。
解决方案：在配置hadoop集群时，要把所有机子的用户名设置一样。