Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件平台上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。
HDFS被设计成可以方便地实现平条件的迁移,这将推动大数据集应用更广泛的采用HDFS作为平台。HDFS是一个主从结构,一个HDFS集群具有一个名字节点(Namenode),它是一个管理文件命名空间和协调客户端访问文件的主服务器;数据节点(Datanode)通常是一个节点一个机器,他来管理对应节点的存储。HDFS对外开放文件命名空间并允许用户数据以文件的形式存储和访问。其内部机制是将一个文件分割成一个或者多个块,这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或者目录,同时确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求,同时还要执行块的创建,删除和来自名字节点的块复制指令。
网友评论