关于Hadoop小文件的解决方法

Hadoop存档

1．hdfs存储小文件弊端

每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个1MB的文件以大小为128MB的块存储，使用的是1MB的磁盘空间，而不是128MB。

2．解决存储小文件办法之一

Hadoop存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，Hadoop存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。归档的过程是以MR的形式进行的，是一个mapreduce任务。

3．实操

（1）需要启动yarn进程

[hadoop@hadoop102 hadoop-2.7.2]$ start-yarn.sh

（2）归档文件

把/user/hadoop目录里面的所有文件归档成一个叫myhar.har的归档文件，并把归档后文件存储到/user/my路径下。

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName myhar.har -p

/user/hadoop /user/my

（3）查看归档

[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/my/myhar.har

[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/my/myhar.har

（4）解归档文件

[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:/// user/my/myhar.har/*

/user/hadoop

简单记忆，har归档可以理解为，将原来的小文件进行了压缩，将好多小文件压缩成一个打的文件，这样存储时只存储这一份大文件的源文件就可以了，再获取小文件数据时再使用相应的方法查看就可以了。