一、hadoop介绍
- hadoop版本： cdh5.7.0
image.png
image.png
image.png
二、分布式文件系统HDFS
image.png
二 HDFS架构
-
Master(NameNode/NN) 带多个Slaves(DataNode/DN)
一个文件会被拆分成多个Block(文件块)。根据blocksize设置的文件大小决定拆分几个文件。
130m ==> 2个 block :128m 和 2m
NN(NameNode)
- 负责客户端请求的响应。
- 负责元数据 （文件的名称，副本系统，Block存放的DN） 的管理。
DN(DataNode)
- 存储用户的文件对应的数据块（Block）.
- 要定期向NN发送心跳信息，汇报本身及其所有的block信息。健康状况。
三 HDFS的副本机制
image.png
- replication factor : 副本系数/副本因子
- HDSF 不支持并发写入。
网友评论