Hadoop核心HDFS

一、hadoop是什么

① hadoop是一个开源的大数据框架

② hadoop是一个分布式计算的解决档案

③ hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)

二、hadoop核心

① HDFS 分布式文件系统：存储是大数据技术的基础

② MapReduce 编程模型：分布式计算是大数据应用的解决方案

三、hadoop 基础架构

① 数据块：是抽象块而非整个文件作为存储单元。(默认大小为64MB,一般设置为128MB,备份*3)

② NameNode：管理文件系统的命名空间，存放文件元数据；维护着文件系统的所有文件和目录，文件和数据块的映射；记录每个文件中各个块所在数据节点的信息。

③ DataNode：存储并检索数据块，向NameNode更新所存储块的列表。

四、HDFS 优缺点

① 优点：适合大文件存储，支持TB、PB级的数据存储，并有副本策略；可以构建在廉价的机器上，并且有一定的容错和恢复机制；支持流式数据访问，一次写入多次读取最高效。

② 缺点：不适合大量小文件存储；不适合并发写入，不支持文件随机修改；不支持随机读取等低延时的访问方式。