元数据占用内存空间说明
对象类别 估算大小(bytes) 计算方法 估计总大小(bytes)
文件 224 224+2*文件名长度 250
目录 264 264+2*文件名长度 290
块 152 152+72*副本数 368
NameNode元数据内存估算举例
一个典型集群拥有如下信息
文件数量:10 600 000
目录数量:310 000
块数量:13 300 000
计算元数据需要内存: 250x 10600000+290x310000 +368x13300000
= 7 634 300 000(bytes)≈ 7.63G
一个快按照 128M存储数据,可以按照如下模式
13300000X128MB
实际测算:在该NameNode实际使用内存9G。实际计算中内存更大是因为内存中除了元数据还有其他信息。
网友评论