hadoop的hdfs组件，为了能够增加故障恢复能力，保障数据的安全，采取了读写日志的方式，当对文件进行修改或其它操作的时候，NameNode会将操作信息写入到edit.log文件当中，并且达到一定时间或事务的时候，会将edit.log中的内容合并到fsimage, 当hdfs启动的时候从fsimage文件当中读取最新状态，关于合并的操作自然是由second namenode来进行的咯，毕竟人家主要的namenode可是大老板，没有功夫来做这些事情的。
合并条件是达到一定时间或达到一定的事务次数之后，会执行checkpoint操作，也就是合并日志，（如果非要等待下一次重启再读取合并的话，会需要启动很久很久的时间的！恩恩，就是这么简单）。设定的时间或事务次数是在hdfs.site.xml进行配置的（HADOOP是大牛搞出来的，小弟们不需要写多少代码，你只要会看说明配置就能够完成初步的工作），
我们可以从下面的链接中看到关于checkpoint的默认配置
https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
网友评论