一、hadoop介绍

• hadoop版本： cdh5.7.0

image.png image.png image.png

二、分布式文件系统HDFS

image.png

二 HDFS架构

1. Master(NameNode/NN) 带多个Slaves(DataNode/DN)
   一个文件会被拆分成多个Block(文件块)。根据 blocksize设置的文件大小决定拆分几个文件。
   130m ==> 2个 block :128m 和 2m

NN(NameNode)

1. 负责客户端请求的响应。
2. 负责元数据 （文件的名称，副本系统，Block存放的DN） 的管理。

DN(DataNode)

1. 存储用户的文件对应的数据块（Block）.
2. 要定期向NN发送心跳信息，汇报本身及其所有的block信息。健康状况。

三 HDFS的副本机制

image.png

• replication factor : 副本系数/副本因子
• HDSF 不支持并发写入。