美文网首页工作生活
Hadoop2x的体系架构

Hadoop2x的体系架构

作者: 陈超Terry的技术屋 | 来源:发表于2019-07-02 20:34 被阅读0次

(一)存储海量数据的HDFS

HDFS的体系架构

     1.NameNode和DataNode

            NameNode:

             (a)负责接受客户端的请求

             (b)负责元信息的维护

             (c)HDFS的管理员

            DataNode:

              (a)保存数据

               (b)block数据块:hadoop 1.x的block是64M;hadoop 2.x是128M。

        2.上传和下载过程

               上传:

HDFS上传过程示例

                       下载:

HDFS下载过程示例

                   3.SecondaryNameNode:负责元信息的合并

                           (a)FSImage文件:元信息在硬盘上的景象

                           (b)Edits文件:HDFS日志文件,有元信息的最新操作日志。

                           (c)合并过程:合并FSImage文件+Edits文件,形成最新的FSImage文件

合并过程示例

海量数据的计算模型MapReduce(Yarn)

Yarn运行过程示例

HBase

   体系结构

HBase的体系结构

表结构

    体系结构的region=列族

表结构

相关文章

网友评论

    本文标题:Hadoop2x的体系架构

    本文链接:https://www.haomeiwen.com/subject/qagthctx.html