美文网首页
Hadoop之HDFS

Hadoop之HDFS

作者: 傻疯子 | 来源:发表于2021-12-13 23:49 被阅读0次

HDFS全称Hadoop Distributed File System,是一个能在大规模廉价机器上运行的分布式文件系统,是Hadoop三大组件之一。HDFS主要由NameNode、SecondaryNameNode和DataNode构成。

NameNode是文件管理节点,保存了文件目录结构和信息,数据的存储位置,以及每个文件与数据块的对应关系。其中数据块是指在DataNode上用来存储数据的一个文件。

SecondaryNameNode负责定期进行checkpoint,即将NameNode产生的快照(fsimage)和日志(edits)进行合并。

DataNode主要提供存储服务,每一个block块默认存3个副本,每一个block块默认为128M,可以根据磁盘性能调节block块的大小。

相关文章

网友评论

      本文标题:Hadoop之HDFS

      本文链接:https://www.haomeiwen.com/subject/tyosfrtx.html