美文网首页大数据程序员
大数据||HDFS||SecondaryNameNode辅助功能

大数据||HDFS||SecondaryNameNode辅助功能

作者: 明明德撩码 | 来源:发表于2018-02-08 18:07 被阅读15次

    secondaryNameNode辅助nameNode,当镜像及日志文件特别大的时候。估计nameNode启动都是问题。
    SecondaryNameNode的作用是定期把fsimages镜像文件和edit日志文件定期(一个小时一次)合并,并生成新的fsimages镜像文件。这样的好处是我们的日志文件和镜像文件都变小了。

    使用场景:当数据量比较大的时候启用SecondaryNameNode

    SecondaryNameNode流程图

    说明:
    1、定时SecondaryNameNode会把fsimage加载到内存,并重做edit日志并生成新的以ckpt结尾的fsimage
    2、创建一个新的edits.new-->edits
    2、把fsimage.ckpt文件复制给namenode,namenode把它重新命名为fsimage。

    相关文章

      网友评论

        本文标题:大数据||HDFS||SecondaryNameNode辅助功能

        本文链接:https://www.haomeiwen.com/subject/ktgttftx.html