美文网首页大数据程序员
大数据||zookeeper来实现HDFS自动故障转移

大数据||zookeeper来实现HDFS自动故障转移

作者: 明明德撩码 | 来源:发表于2018-02-26 15:41 被阅读83次

namenode启动都是standby。

  • 利用zookeeper来选举一个为active

ZooKeeper客户端ZKFC: ZKFailoverController

NN HA 自动故障转移原理图

  • Zookeeper FC对Namenode进行生命状态监控


    原理图
  • zookeeper集群

通过配置文件实现故障转移

  • 启用故障转移(hdfs-site.xml)
    <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    </property>
  • 故障转移依赖zookeeper集群
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop-senior.beifeng.com:2181,hadoop-senior02.beifeng.com:2181,hadoop-senior03.beifeng.com:2181</value>
    </property>

自动故障转移启动

  • 关闭所有HDFS 服务 sbin/stop-dfs.sh(131节点)
    停止顺序:namenode->datanode->journalnode
  • 向子节点(132/133)同步core-site.xml和hdfs-site.xml

命令:scp -r etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml root@hadoop-senior02.beifeng.com:/opt/app/hadoop-2.5.0/etc/hadoop/

  • 启动Zookeeper 集群 bin/zkServer.sh start (131,132,133)


  • 初始化 HA 在Zookeeper中状态 bin/hdfs zkfc -formatZK
    对ha在zookeeper中的状态进行初始化
    在zookeeper服务器上创建一个目录(hadoop-ha)
    通过zookeeper客户端可以看一下这个过程。
    查看:bin/zkCli.sh -server 192.168.57.131:2181
    注意添加ip要不然就会报错。



    命令执行前服务器目录结构



    命令执行后
    zookeeper
    client
  • 启动HDFS服务 sbin/start-dfs.sh
    启动顺序 namenode-->datanode-->journalnode-->zkfc


    131为active
    干掉131看一下是否可以自动切换到132的namenode
    131namenode服务器
    132namenode编程active
    zookeeper集群死掉后不影响hdfs文件系统,只是不能够故障自动转移了。
  • 在各个NameNode节点上启动DFSZK Failover Controller,先在那台机器启动,
    那个机器的NameNode就是Active NameNode
    sbin/hadoop-daemon.sh start zkfc

相关文章

  • 大数据||zookeeper来实现HDFS自动故障转移

    namenode启动都是standby。 利用zookeeper来选举一个为active ZooKeeper客户端...

  • HDFS中ZKFailoverController的原理探究

    自动化failover的引入 HDFS中自动化的failover故障转移需要增加两个新的组件:一个是Zookeep...

  • Redis sentinel 学习

    定义 Redis sentinel称为哨兵模式,是Redis 高可用的实现方法,具有故障发现,故障自动转移,配置中...

  • Hadoop入门

    HDFS的体系结构 设计目标 自动快速检测应对硬件错误 流式访问数据 转移计算本身比转移数据更加划算 简单的数据一...

  • HDFS详解

    认识HDFS HDFS的特点: 高容错性高吞吐量故障的检测和自动快速恢复流式的数据访问大数据集一次写入,多次读写 ...

  • Day 73 Nacos注册中心实战

    redis 集群: 手动和自动故障转移s->m 自动切换. 手动故障转移用来做集群的升级. 是带有目的性的。 远程...

  • Hadoop-HA

    HDFS-HA工作机制 通过双NameNode消除单点故障 两个NN,一个工作,一个备份 HDFS-HA自动故障转...

  • 8. MySQL高可用-MHA

    9 MySQL高可用 9.1 MHA 9.1.1 MHA介绍 MHA会对主节点进行监控, 可实现自动故障转移至其他...

  • 【学习】其他框架

    Zookeeper Zookeeper基础知识Zookeeper综合知识 HDFS HDFS基础知识 NoSQl ...

  • 搭建一个MongoDB副本集系统

    在任何服务系统中,要提供系统服务高可用,必须要解决单点故障及实现故障自动转移。mongodb的副本集提供了这样的功...

网友评论

    本文标题:大数据||zookeeper来实现HDFS自动故障转移

    本文链接:https://www.haomeiwen.com/subject/whkyxftx.html