美文网首页大数据程序员
大数据||HDFS||SecondaryNameNode辅助功能

大数据||HDFS||SecondaryNameNode辅助功能

作者: 明明德撩码 | 来源:发表于2018-02-08 18:07 被阅读15次

secondaryNameNode辅助nameNode,当镜像及日志文件特别大的时候。估计nameNode启动都是问题。
SecondaryNameNode的作用是定期把fsimages镜像文件和edit日志文件定期(一个小时一次)合并,并生成新的fsimages镜像文件。这样的好处是我们的日志文件和镜像文件都变小了。

使用场景:当数据量比较大的时候启用SecondaryNameNode

SecondaryNameNode流程图

说明:
1、定时SecondaryNameNode会把fsimage加载到内存,并重做edit日志并生成新的以ckpt结尾的fsimage
2、创建一个新的edits.new-->edits
2、把fsimage.ckpt文件复制给namenode,namenode把它重新命名为fsimage。

相关文章

网友评论

    本文标题:大数据||HDFS||SecondaryNameNode辅助功能

    本文链接:https://www.haomeiwen.com/subject/ktgttftx.html