本文章的主题如下：
-
什么是元数据？
-
元数据管理机制
-
Checkpoint操作
-
元数据
元数据.png
-
元数据管理
- 客户端上传文件的时候，NameNode先往edit log中记录这条操作；
- 客户端根据NameNode分配的位置信息往DataNode中写入数据，数据成功完成上传之后，NameNode将刚刚写入edit log中的那条记录写入内存，便于读取数据，此条记录就是元数据；
- 当edit log达到特定条件时，SecondaryNameNode会通过checkpoint操作将edit log文件合并到FsImage文件中；
- 在某个时间点上，内存中的元数据跟FsImage中的元数据是相同的；
- edit log 文件只能追加，不能修改；
- 元数据的读写时分离的，内存中的元数据负责读。
-
Checkpoint操作
Checkpointing creates a new fsimage from an old fsimage and edit log.png
- Checkpoint触发条件：
- 旧版本：
-
edit log达到特定大小（默认64M，可通过fs.checkpoint.size属性配置）
-
达到特定时间间隔（默认1小时，可通过fs.checkpoint.period属性配置）
- 2.X版本：（下面讲述的checkpoint过程都是建立在新版本上的） -
达到特定时间间隔 （默认1小时，可通过dfs.namenode.checkpoint.period属性配置）
-
edit log达到特定的为checkpoint的事务数量（默认1百万条，可通过dfs.namenode.checkpoint.txns属性配置）
- Checkpoint过程
-
使用 Standby NameNode实现Checkpoint
当NameNode配置了HA机制，那么就是Standby NameNode来进行Checkpoint操作
详细过程如下：
1. Standby NameNode检查是否满足checkpoint的先决条件；
- Standby NameNode将它的命名空间（namespace）保存到一个新的fsimage，并且命名为fsimage.ckpt_(fsimage.ckpt_txid)，其中txid是edit log中的最新一条事务ID（transaction ID ）。然后Standby NameNode为该fsimage创建一个MD5文件，并且将fsimage重命名为fsimage_(fsimage_ckpt)。在此期间，大多数Standby NameNode的操作会被停止，例如NameNode的故障切换或者访问Standby NameNode的webui；
- Standby NameNode发送一条Http GET请求给active NameNode的GetImageServlet 中的 /getimage?putimage=1方法，URL参数中还包含txid，Standby NameNode hostname 和HTTP port；
- active NameNode 接收到请求之后，用接收到的信息反过来发送给 Standby NameNode的GetImageServlet。新的fsimage传输给active NodeName之后，也是先命名为fsimage.ckpt_，为它创建MD5文件，然后重命名为fsimage_。
Checkpointing with NameNode HA configured.png
-
使用 Secondary NameNode实现Checkpoint
如果没有配置HA，那么就需要通过Secondary NameNode来实现Checkpoint操作
详细过程如下：
1. Secondary NameNode检查是否满足checkpoint的先决条件，并且通过PRC到NameNode中获取最近编辑日志的事务ID (NamenodeProtocol#getTransactionId)；
- Secondary NameNode停止NameNode往当前的edit log中写数据，并且给NameNode重新创建一个日志文件edit.new，用来记录新的日志，同时Secondary NameNode将压缩NameNode中的旧edit log。此步骤同样会返回当前fsimage和旧edit log的事务ID；
- 获取到以上的两个事务ID，Secondary NameNode通过Http GET请求从NameNode中下载fsimage和edit log，Secondary NameNode可能包含一些来自上一次checkpoint的文件（比如当前fsimage文件）;
- 如果需要，Secondary NameNode从新下载来的fsimage中重新加载其namespace；
- Secondary NameNode 同HA模式下Standby NameNode一样更新fsimage；
- Standby NameNode 发送请求让NameNode来下载新的fsimage；
- NameNode保存MD5文件，并且重命名fsimage，已经edit.new。
Time diagram of 2NN and NN with annotated steps.png
Secondary NameNode checkpoint.png
文献：http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/
网友评论