HDFS HA搭建步骤

1、HDFS HA 配置主要涉及几点

1）多NameNode配置，唯一为active，其他为standby
2）多个NameNode对EditLogs文件的共享：JournalNode
3）fence:任意时刻只能仅有一台NameNode向外提供服务
4）NameNode在client的proxy

2、按照官方文档步骤一步一步来操作

1）配置hdfs-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

    
    <!-- secondary namenode 进程运行服务器 -->
    <!--
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>luozheng.bigdata2:9868</value>
    </property>
    -->
    <!-- 配置新的nameservices逻辑名称 -->
    <property>
      <name>dfs.nameservices</name>
      <value>luozhengcluster</value>
    </property>

    <!-- 配置所有的NameNode，官方推荐NameNode节点数量最少为2个，最好是3个，不要超过5个， -->
    <property>
      <name>dfs.ha.namenodes.luozhengcluster</name>
      <value>nn1,nn2,nn3</value>
    </property>

    <!-- 配置NameNode RPC地址 -->
    <property>
      <name>dfs.namenode.rpc-address.luozhengcluster.nn1</name>
      <value>luozheng.bigdata:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.luozhengcluster.nn2</name>
      <value>luozheng.bigdata1:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.luozhengcluster.nn3</name>
      <value>luozheng.bigdata2:8020</value>
    </property>
    
    <!-- 配置NameNode HTTP访问地址 -->
    <property>
      <name>dfs.namenode.http-address.luozhengcluster.nn1</name>
      <value>luozheng.bigdata:9870</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.luozhengcluster.nn2</name>
      <value>luozheng.bigdata1:9870</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.luozhengcluster.nn3</name>
      <value>luozheng.bigdata2:9870</value>
    </property>
    <!-- 共享editlogs存放节点，以供Active NameNode Write和Standby NameNode Read -->
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://luozheng.bigdata:8485;luozheng.bigdata1:8485;luozheng.bigdata2:8485/luozhengcluster</value>
    </property>
    
    <!-- NameNode proxy  -->
    <property>
      <name>dfs.client.failover.proxy.provider.luozhengcluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- NameNode隔离机制，这里采用ssh方式，采用这种方式要注意的地方，就是任意一个NameNode都能免密登录到其他所有NameNode -->
     <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>

    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/luozheng/.ssh/id_rsa</value>
    </property>
</configuration>

2）配置core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

    <!-- namenode 服务器地址配置   -->
    <!--
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://luozheng.bigdata:9000</value>
    </property>
    -->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://luozhengcluster</value>
    </property>

    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/luozheng/tools/hadoop-3.0.1/data/journal</value>
    </property>

    <!-- 临时文件存储地址 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/luozheng/tools/hadoop-3.0.1/data/tmp</value>
    </property>
    
    <!-- 配置垃圾回收站中文件保存时间-->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
    
    <!-- 配置读写文件缓冲区大小 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    
</configuration>

3)启动步骤
3.0）通过以下命令把相关文件同步到其他节点上

scp -r etc/ data/ luozheng@luozheng.bigdata1:/home/luozheng/tools/hadoop-3.0.1/
scp -r etc/ data/ luozheng@luozheng.bigdata2:/home/luozheng/tools/hadoop-3.0.1/

3.1）通过以下命令依次启动所有journalnode守护进程

bin/hdfs --daemon start journalnode

image.png image.png image.png

3.2) 通过以下命令在luozheng.bigdata节点格式化namenode并启动namenode

bin/hdfs namenode -format
bin/hdfs --daemon start namenode

3.3)在luozheng.bigdata1和luozheng.bigdata2节点通过以下命令同步the contents of NameNode metadata directories,这里luozheng.bigdata1和luozheng.bigdata2都要同步是因为搭建的HA是有三个NameNode的。

bin/hdfs namenode -bootstrapStandby

3.4）通过以下命令依次启动其他NameNode

bin/hdfs --daemon start namenode

image.png
image.png
image.png

3.5)依次启动datanode

bin/hdfs --daemon start datanode

启动结束后，在浏览器中敲入http://luozheng.bigdata:9870，http://luozheng.bigdata1:9870，http://luozheng.bigdata2:9870，可以看到3个节点都启动起来了。

image.png image.png image.png

3.6) 让指定的namenode状态为active

bin/hdfs haadmin -transitionToActive nn1

image.png

4、Automatic Failover

namenode active和standby状态的切换，除了通过手动敲命令来实现，还可以通过zookeeper来实现自动故障转移，zookeeper通过ZKFailoverController来实时的监控namenode的运行状态，从而实现故障转移。
4、1）相关配置，先在hdfs-site.xml文件中加入如下内容：

<!-- HA automatic failover -->
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>

4、2）在core-site.xml配置文件中加入如下配置信息：

<property>
       <name>ha.zookeeper.quorum</name>
       <value>luozheng.bigdata:2181,luozheng.bigdata1:2181,luozheng.bigdata2:2181</value>
    </property>

4、3）同步配置文件到其他节点

scp -r core-site.xml hdfs-site.xml luozheng@luozheng.bigdata1:/home/luozheng/tools/hadoop-3.0.1/etc/hadoop/

scp -r core-site.xml hdfs-site.xml luozheng@luozheng.bigdata2:/home/luozheng/tools/hadoop-3.0.1/etc/hadoop/

4、4）如果HDFS文件系统是处于运行状态，先通过如下命令stop

sbin/stop-dfs.sh

4、5）到zookeeper安装目录，依次启动zookeeper服务

bin/zkServer.sh start

4、6）初始化HA在zookeeper状态

bin/hdfs zkfc -formatZK

4、7）启动HDFS集群

sbin/start-dfs.sh

image.png
image.png
image.png
image.png
image.png
image.png

zookeeper自动选举了luozheng.bigdata节点中的namenode作为active namenode
现在强制kill掉该节点的namenode进程，测试下Automatic Failover

image.png
image.png
image.png
image.png

5、最后补充一点hadoop的高级特性

1）Federation：目前HDFS系统中，任意时刻都只有一台namenode向外提供服务，Federation可以让多个namenode同时向外提供服务，具体看官方文档
2）HDFS快照
3）缓存管理
4）DistCp:分布式数据拷贝工具，官方文档

总结，到此，hadoop基本先告一段落，在学习的过程中，基本是以熟悉框架为主，先有个大概的概念，对于里面很多的原理基本没有涉及，这个考虑的是在熟悉整个hadoop生态圈后，再慢慢通过官方文档或是其他书籍来补充，先要快速熟悉它们！