HDFS(五)：NN和2NN

NameNode存储

内存一份数据，fsImage存储数据（合并后的数据，即没有追加前数据），edits文件只追加，不参与计算

内存数据 == fsImage+edits
服务器启动：将（fsImage+edits）数据加载到内存
服务器关闭：将 fsImage+edits合并

2nn将fsimage和edits文件定期合并

Fsimage和Edits概念

NameNode被格式化后，将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中产生如下文件
2NN在/opt/module/hadoop-3.1.3/data/tmp/dfs/namesecondary/current
NameNode相比较2nn多了edits_inprogress

NameNode工作机制

4.3 NameNode工作机制.png
1）第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志(edit_inprogress)和镜像文件(Fsimage)到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对元数据进行增删改。
2）第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。

Fsimage和Edits解析

NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录产生如下文件

edits_00000000000001-000000000000005
edits_inprogress_000000000000006
fsimage_00000000000000000
fsimage_00000000000000000.md5
seen_txid
VERSION

1）fsimage文件：HDFS文件系统元数据的一个永久性检查点，其中包含HDFS文件系统的所有目录和inode的序列化信息
2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中
3）seen_txid：文件保存的是一个数字，就是最后一个edits_数字
4）VERSION，当前nameNode的命名空间，和集群id

oiv查看Fsimage文件

（1）基本语法
hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
（2）实操

hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml
cat /opt/module/hadoop-3.1.3/fsimage.xml

NameNode没有记录块所对应DataNode，DataNode启动后向NameNode汇报自己有哪些文件块

oev查看Edits文件

（1）基本语法
hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径
（2）实操

hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml
cat /opt/module/hadoop-3.1.3/edits.xml

只进行追加，不进行合并操作。
在服务器启动进入内存，只加载edits后缀大于fsimage后缀。

CheckPoint

hdfs-default.xml
1）通常情况下，SecondaryNameNode每隔一个小时执行一次。[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600s</value>
</property>

2）一分钟检查一次操作次数，当操作次数达到1百万次，SecondaryNameNode执行一次。
2nn每隔1分钟，主动查询一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60s</value>
<description> 1分钟检查一次操作次数</description>
</property>

小结

通过本节可以知道两个文件fsimage和edits文件作用，通过这两个文件就是NameNode存储的元数据。