hadoop 小文件

2.3 HDFS小文件优化方法

2.3.1 HDFS小文件弊端

HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。

会有什么影响
1个文件块，占用namenode多大内存150字节
1亿个小文件*150字节
1 个文件块 * 150字节
128G能存储多少文件块？ 128 * 1024*1024*1024byte/150字节 = 9亿文件块

2.3.2 HDFS小文件解决方案

1. 小文件优化的方向：

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

（4）开启uber模式，实现jvm重用

2. Hadoop Archive

是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用

3. SequenceFile

SequenceFile是由一系列的二进制k/v组成，如果为key为文件名，value为文件内容，可将大批小文件合并成一个大文件

4. CombineTextInputFormat

CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。

5. 开启uber模式，实现jvm重用。默认情况下，每个Task任务都需要启动一个jvm来运行，如果Task任务计算的数据量很小，我们可以让同一个Job的多个Task运行在一个Jvm中，不必为每个Task都开启一个Jvm.

开启uber模式，在mapred-site.xml中添加如下配置

<!-- 开启uber模式 -->

<property>

 <name>mapreduce.job.ubertask.enable</name>

 <value>true</value>

</property>

<!-- uber模式中最大的mapTask数量,可向下修改 -->

<property>

 <name>mapreduce.job.ubertask.maxmaps</name>

 <value>9</value>

</property>

<!-- uber模式中最大的reduce数量，可向下修改 -->

<property>

 <name>mapreduce.job.ubertask.maxreduces</name>

 <value>1</value>

</property>

<!-- uber模式中最大的输入数据量，如果不配置，则使用dfs.blocksize 的值，可向下修改 -->

<property>

 <name>mapreduce.job.ubertask.maxbytes</name>

 <value></value>

</property>

6. 配置mapreduce.job.jvm.numtasks 参数实现在一个Jvm中运行多个Task . 如果设置为

-1 ,这没有数量限制。 一般设置在 10-20之间.

<property>
    <name>mapreduce.job.jvm.numtasks</name>
    <value>10</value>
    <description>How many tasks to run per jvm,if set to -1 ,there is  no limit</description>
</property>