美文网首页
hadoop namenode 元数据计算公式

hadoop namenode 元数据计算公式

作者: 七_seven | 来源:发表于2018-07-02 17:49 被阅读0次

    元数据占用内存空间说明 

    对象类别 估算大小(bytes) 计算方法 估计总大小(bytes) 

    文件     224     224+2*文件名长度     250 

    目录     264     264+2*文件名长度     290 

    块     152            152+72*副本数             368

    NameNode元数据内存估算举例 

    一个典型集群拥有如下信息 

    文件数量:10 600 000 

    目录数量:310 000 

    块数量:13 300 000

    计算元数据需要内存: 250x 10600000+290x310000 +368x13300000

        = 7 634 300 000(bytes)≈ 7.63G

    一个快按照 128M存储数据,可以按照如下模式

    13300000X128MB

    实际测算:在该NameNode实际使用内存9G。实际计算中内存更大是因为内存中除了元数据还有其他信息。

    相关文章

      网友评论

          本文标题:hadoop namenode 元数据计算公式

          本文链接:https://www.haomeiwen.com/subject/thwluftx.html