HDFS全称Hadoop Distributed File System,是一个能在大规模廉价机器上运行的分布式文件系统,是Hadoop三大组件之一。HDFS主要由NameNode、SecondaryNameNode和DataNode构成。
NameNode是文件管理节点,保存了文件目录结构和信息,数据的存储位置,以及每个文件与数据块的对应关系。其中数据块是指在DataNode上用来存储数据的一个文件。
SecondaryNameNode负责定期进行checkpoint,即将NameNode产生的快照(fsimage)和日志(edits)进行合并。
DataNode主要提供存储服务,每一个block块默认存3个副本,每一个block块默认为128M,可以根据磁盘性能调节block块的大小。
网友评论