美文网首页
NameNode 中维护的元数据中都存储了哪些信息

NameNode 中维护的元数据中都存储了哪些信息

作者: ProudLin | 来源:发表于2020-02-09 12:05 被阅读0次

NameNode 管理文件系统的命名空间,它维护着文件系统树以及整棵树内所有的文件和目录.

这些信息存储在两个文件中,一个是 fsimage,一个是 editlog。同时记录着每个文件中各个块所在的数据节点信息,不永久保存块位置信息,只有启动时由数据节点上报.

fsimage :保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。

对于文件来说包括了“副本级别”、修改时间、访问时间、访问许可、块大小、组成一个文件的块等;

对于目录来说包括修改时间、访问许可和额配元数据等信息;

简单的说,Fsimage就是在某一时刻,整个hdfs 的快照,就是这个时刻hdfs上所有的文件块和目录,分别的状态,位于哪些个datanode,各自的权限,各自的副本个数等。

editlog :主要是在NameNode已经启动情况下对HDFS进行的各种写操作进行记录,HDFS客户端执行所有的写操作都会被记录到editlog中。

相关文章

  • NameNode 中维护的元数据中都存储了哪些信息

    NameNode 管理文件系统的命名空间,它维护着文件系统树以及整棵树内所有的文件和目录. 这些信息存储在两个文件...

  • redis节点通信

    通信流程 在分布式存储中需要提供维护节点元数据信息的机制,所谓元数据是指:节点负责哪些数据,是否出现故障等状态信息...

  • 生产环境NameNode可靠性保证

    前言:Hadoop NameNode节点维护了整个HDFS集群所有的元数据信息,一旦NameNode发生脑裂,或者...

  • HDFS架构

    当客户机要读取数据的时候,要从NameNode中读取Metadata元数据信息。元数据信息保存在NameNode内...

  • NameNode和SecondaryNameNode工作机制

    思考:NameNode中的元数据是存储在哪里的?   首先,我们做个假设,如果存储在NameNode节点的磁盘中,...

  • HDFS的block size对性能的影响

    一、HDFS的blocksize HDFS中的DataNode负责存储具体的数据,NameNode则负责维护数据的...

  • HDFS元数据机制与checkpoint

    元数据存在namenode中,主要是描述数据属性的信息,用来支持如存储位置、历史数据、资源查找、文件记录功能。Na...

  • Hadoop 笔记

    Hadoop框架简介 HDFS 数据存储NameNode:存储数据的元数据相当于书籍的目录 DataNode本地的...

  • Hadoop框架:NameNode工作机制详解

    一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,...

  • HDFS之namenode管理元数据机制

    一、NameNode启动时如何维护元数据: 1、概念介绍:Edits文件:NameNode在本地操作hdfs系统的...

网友评论

      本文标题:NameNode 中维护的元数据中都存储了哪些信息

      本文链接:https://www.haomeiwen.com/subject/fnugxhtx.html