美文网首页
1.HDFS概述--一脉相承

1.HDFS概述--一脉相承

作者: 逆流而上kiss | 来源:发表于2017-06-05 18:56 被阅读0次

    前言:简要概述FileSystem、DB、HDFS存取数据的设计思路,并理解其一脉相承的特点

    FS的设计思路

    最小IO:1k
    FS通过inode指针指向block,以这样的方式来寻找数据

    注意: inode(metadata)---->block(data)

    DB的设计思路

    最小IO:8k/16k
    以Oracle数据库为例,将metadata存储于system表空间,数据存储于dbf文件中,通过数据字典建立连接

    注意: system(metadata)---->dbf(data)

    HDFS的设计思路

    最小IO:64M/128M
    metadata存放在namenode节点上,data存放在datanode节点上,通过namenode找到datanode

    注意: namenode(metadata)---->datanode(data)

    总结

    FS、DB、HDFS都是将metadata和data分开存放,通过metadata找到data

    相关文章

      网友评论

          本文标题:1.HDFS概述--一脉相承

          本文链接:https://www.haomeiwen.com/subject/ughwfxtx.html