Hadoop HA的安装

作者: Davidham3 | 来源:发表于2017-08-21 16:15 被阅读210次

大数据开发环境搭载4--安装Hadoop HA集群
Hadoop(HDFS,YARN)的HA集群安装-TOGET
hadoop离线数据分析02
hadoop
Hadoop 2.x环境搭建准备
Hadoop HA的安装
【Hadoop】Hadoop 2.9.2 HA安装
HBase部署
Hadoop HA 高可用原理及部署
ZooKeeper从入门到精通13：使用ZooKeeper实现H

Hadoop集群的安装

在master1节点解压hadoop安装包
tar zxvf ./hadoop-2.6.5.tar.gz
修改hadoop-env.sh文件
cd /usr/local/hadoop-2.6.5/etc/hadoop
sudo nano hadoop-env.sh
添加JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.7.0_80
配置core-site.xml文件
sudo nano core-site.xml
添加以下内容：

<configuration>
  <!-- 指定hdfs的nameservices名称为mycluster，与hdfs-site.xml的HA配置相同 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
    
  <!-- 指定缓存文件存储的路径 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.6.5/data/tmp</value>
  </property>

  <!-- 配置hdfs文件被永久删除前保留的时间（单位：分钟），默认值为0表明垃圾回收站功能关闭 -->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
  
  <!-- 指定zookeeper地址，配置HA时需要 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>slave1:2181,slave2:2181,slave3:2181</value>
  </property>
</configuration>

配置hdfs-site.xml文件
sudo nano hdfs-site.xml
添加以下内容：

<configuration>
  <!-- 指定hdfs元数据存储的路径 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-2.6.5/data/namenode</value>
  </property>

  <!-- 指定hdfs数据存储的路径 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-2.6.5/data/datanode</value>
  </property>
  
  <!-- 数据备份的个数 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 关闭权限验证 -->
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  
  <!-- 开启WebHDFS功能（基于REST的接口服务） -->
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  
  <!-- //////////////以下为HDFS HA的配置////////////// -->
  <!-- 指定hdfs的nameservices名称为mycluster -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- 指定mycluster的两个namenode的名称分别为nn1,nn2 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- 配置nn1,nn2的rpc通信端口 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>master2:8020</value>
  </property>

  <!-- 配置nn1,nn2的http通信端口 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>master2:50070</value>
  </property>

  <!-- 指定namenode元数据存储在journalnode中的路径 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://slave1:8485;slave2:8485;slave3:8485/mycluster</value>
  </property>
  
  <!-- 指定journalnode日志文件存储的路径 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/usr/local/hadoop-2.6.5/data/journal</value>
  </property>

  <!-- 指定HDFS客户端连接active namenode的java类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制为ssh -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 指定秘钥的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop-sna/.ssh/id_rsa</value>
  </property>
  
  <!-- 开启自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置mapred-site.xml文件
sudo nano mapred-site.xml
添加以下内容：

<configuration>
  <!-- 指定MapReduce计算框架使用YARN -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <!-- 指定jobhistory server的rpc地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master1:10020</value>
  </property>

  <!-- 指定jobhistory server的http地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master1:19888</value>
  </property>

  <!-- 开启uber模式（针对小作业的优化） -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>

  <!-- 配置启动uber模式的最大map数 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
  </property>

  <!-- 配置启动uber模式的最大reduce数 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>1</value>
  </property>
</configuration>

配置yarn-site.xml文件
sudo nano yarn-site.xml
添加以下内容：

<configuration>
  <!-- NodeManager上运行的附属服务，需配置成mapreduce_shuffle才可运行MapReduce程序 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->
  <property>
    <name>yarn.web-proxy.address</name>
    <value>master2:8888</value>
  </property>
  
  <!-- 开启日志 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 配置日志删除时间为7天，-1为禁用，单位为秒 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

  <!-- 修改日志目录 -->
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/logs</value>
  </property>

  <!-- 配置nodemanager可用的资源内存 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>

  <!-- 配置nodemanager可用的资源CPU -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
  
  <!-- //////////////以下为YARN HA的配置////////////// -->
  <!-- 开启YARN HA -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 启用自动故障转移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定YARN HA的名称 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>

  <!-- 指定两个resourcemanager的名称 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!-- 配置rm1，rm2的主机 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>master2</value>
  </property>

  <!-- 配置YARN的http端口 -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>master1:8088</value>
  </property>   
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>master2:8088</value>
  </property>

  <!-- 配置zookeeper的地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>slave1:2181,slave2:2181,slave3:2181</value>
  </property>

  <!-- 配置zookeeper的存储位置 -->
  <property>
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>
    <value>/rmstore</value>
  </property>

  <!-- 开启yarn resourcemanager restart -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置resourcemanager的状态存储到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>

  <!-- 开启yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置nodemanager IPC的通信端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>
</configuration>

配置slaves文件
sudo nano slaves
添加以下内容：

slave1
slave2
slave3

创建配置文件中涉及的目录

cd /usr/local/hadoop-2.6.5/
mkdir-p data/tmp
mkdir-p data/journal
mkdir-p data/namenode
mkdir-p data/datanode

将hadoop工作目录同步到集群其它节点

scp -r /usr/local/hadoop-2.6.5/ master2:/usr/local/
scp -r /usr/local/hadoop-2.6.5/ slave1:/usr/local/
scp -r /usr/local/hadoop-2.6.5/ slave2:/usr/local/
scp -r /usr/local/hadoop-2.6.5/ slave3:/usr/local/

在集群各节点上修改环境变量
sudo nano /etc/profile
添加以下几行：

export HADOOP_HOME=/usr/local/hadoop-2.6.5
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使修改的环境变量生效
source /etc/profile
方便起见，还是将hadoop-2.6.5的目录权限改一下比较好

sudo chown -R hadoop-sna hadoop-2.6.5
sudo chgrp -R hadoop-sna hadoop-2.6.5

这样，hadoop集群的安装就完成了，接下来是启动集群服务。

Hadoop集群的初始化

启动zookeeper集群（分别在slave1、slave2和slave3上执行）
zkServer.sh start
格式化ZKFC（在master1上执行）
hdfs zkfc -formatZK
启动journalnode（分别在slave1、slave2和slave3上执行）
hadoop-daemon.sh start journalnode
格式化HDFS（在master1上执行）
hdfs namenode -format
将格式化后master1节点hadoop工作目录中的元数据目录复制到master2节点
scp -r /usr/local/hadoop-2.6.5/data/namenode/* master2:/usr/local/hadoop-2.6.5/data/namenode/
初始化完毕后可关闭journalnode（分别在slave1、slave2和slave3上执行）
hadoop-daemon.sh stop journalnode

遇到的问题：

hdfs namenode –format的时候出现connection refused
原因：连接datanode的时候出现拒绝连接的现象，原因是journalnode没有启动，可以查看datanode上hadoop文件夹里面的logs里面的hadoop-hadoop-journalnode-data.out，里面有写journalnode启动失败的原因，我的原因是没有写入权限
解决方法：
```
sudo chown –R hadoop-sna hadoop-2.6.5
sudo chgrp –R hadoop-sna hadoop-2.6.5
```

大数据开发环境搭载4--安装Hadoop HA集群
4、安装Hadoop HA集群下载将Hadoop安装到/usr/local/hadoop 修改/etc/pro...
Hadoop(HDFS,YARN)的HA集群安装-TOGET
搭建Hadoop的HDFS HA及YARN HA集群,基于2.7.1版本安装。安装规划安装用户 garriso...
hadoop离线数据分析02
配置环境开始安装hadoop 开始配置hadoop的环境注意这里cd etc/hadoop/下不是/etc/ha...
hadoop
HA hadoop 安装 core-site.xm...
Hadoop 2.x环境搭建准备
一：下载Hadoop 二：安装说明 http://hadoop.apache.org/docs/r2.5.2/ha...
Hadoop HA的安装
Hadoop集群的安装在master1节点解压hadoop安装包tar zxvf ./hadoop-2.6.5....
【Hadoop】Hadoop 2.9.2 HA安装
环境：Ubuntu 16.04 Hadoop 版本：2.9.2 一、准备 1.1、所有节点修改 /etc/host...
HBase部署
Hbase配置(单节点) 已安装hadoop 获取hbase 配置hbase环境启动什么是非HA模式非HA模...
Hadoop HA 高可用原理及部署
一：概述 Hadoop HA机制原理，主要分为NameNode HA以及Yarn HA。 Hadoop HA环境搭...
ZooKeeper从入门到精通13：使用ZooKeeper实现H
Hadoop本身并没有提供HA的功能，需要借助ZooKeeper来实现Hadoop的HA功能。Hadoop的HA搭...