美文网首页大数据
HDFS和Yarn和MapReduce

HDFS和Yarn和MapReduce

作者: 明明德撩码 | 来源:发表于2018-01-31 08:15 被阅读6次
    image.png

    nameNode是主节点,datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep

    HDFS存储方式

    是以块的形式存储的,128M最小单元。


    image.png

    NameNode存储

    NameNode数据存储在
    --内存中
    --本地磁盘:
    ------1、fsimage:镜像文件(nameNode启动后生成的)
    -------2、edites:编辑日志。

    second NameNode

    what:定期合并镜像文件和日志文件

    YARN

    YARN服务功能

    MapReduce 离线计算框架

    image.png

    相关文章

      网友评论

        本文标题:HDFS和Yarn和MapReduce

        本文链接:https://www.haomeiwen.com/subject/cptkzxtx.html