美文网首页
Hadoop中的NameNode和Secondary NameN

Hadoop中的NameNode和Secondary NameN

作者: 特例独行的猪 | 来源:发表于2017-06-02 11:41 被阅读177次

     NameNode在运行过程中,会记录HDFS文件系统的状态到一个本地的日志文件edits. 当NameNode发生重启(这种情况一般很少会发生,只有当服务器发生宕机),执行一下操作步骤:

    1:从镜像中读取HDFS文件系统的状态。

    2:将edits log中已记录的状态信息写入到镜像中,并且在一个空的edits log中继续执行状态记录操作。

    edits log和镜像的合并操作只有在namenode启动的时候才会发生合并操作。

    在一个比繁忙的集群中,长时间的运行会生成一个很大的edits log。Secondary NameNode会定期(合并的策略可以自定义配置,默认为1小时)的合并edits log和镜像。这样可以使得NameNode在重启时,节约镜像和Edits log的合并时间,节约内存空间。Secondary NameNode存储了最新的CheckPoint在NameNode目录下。所以,Secondary NameNode的镜像,如果需要的话,NameNode可以随时读取。

    ChekPoint工作流程:

    BackUp Node:

    BackUp Node提供了与CheckPoint一样的功能(都是 用于备份集群状态,以便于发生故障时,能够恢复),

    维护一个与NameNode一样的内存工作空间(NameSpace),并且实时更新最新的NameNode状态到BackUp Node自己的工作空间。同时接收NameNode的edits,持久化到硬盘。BackUp Node目的与CheckPoint一致,但是,BackUp Node动态的同步NameNode的状态到内存中,不需要通过创建checkpoints下载镜像和edits log,所以它的处理更加有效,快速。BackUp Node只需要保存镜像和edits log到它自己的命名空间。

     BackUp Node启动方式:bin/hdfs namenode -backup

    ImportCheckPoint 没理解什么时候执行和执行方式。

    相关文章

      网友评论

          本文标题:Hadoop中的NameNode和Secondary NameN

          本文链接:https://www.haomeiwen.com/subject/hfwyfxtx.html