adoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持。
下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。
通常情况下，想在CPU和IO之间取得平衡的话，用Snappy和lzo比较常见一些。
Comparison between compression algorithms
其中：
1）GZIP的压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢；
2）LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；
3）Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些。
对于数据格式为TextFile，Sequence，以及其他用户自定义的文件格式的文件，都可以采用以上的压缩算法进行压缩；
TextFile在压缩以后，不能split，压缩出来的数据当做job的输入是一个文件作为一个map。SequenceFile本身是分块的，加上lzo的压缩格式，文件可以实现lzo方式的split操作，可以按照record、block进行压缩，一般采用block效率更高一些。
一、hadoop(hive)对mapreduce压缩参数设置
1、mapreduce的中间结果对压缩的支持
方法一：
hadoop 中 mapred-site.xml
mapred.compress.map.output
true
mapred.map.output.compression.codec
com.hadoop.compression.lzo.LzoCodec
方法二
hive中hive-site.xml
hive.exec.compress.intermediate
true
Should the outputs of the maps be compressed before being
sent across the network. Uses SequenceFile compression.
hive.intermediate.compression.codec
org.apache.hadoop.io.compress.LzoCodec
If the map outputs are compressed, how should they be
compressed?
方法三
hive中shell
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec="org.apache.hadoop.io.compress.LzoCodec";
2、mapreduce的输出结果对压缩的支持
hive-site.xml中配置：
hive.exec.compress.output
true
Should the job outputs be compressed?
mapred.output.compression.codec
org.apache.hadoop.io.compress.LzoCodec
If the job outputs are compressed, how should they be compressed?
或者在hadoop-site.xml中添加：
io.compression.codecs
org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec
A list of the compression codec classes that can be used
for compression/decompression.
mapred.output.compress
true
Should the job outputs be compressed?
mapred.output.compression.codec
org.apache.hadoop.io.compress.LzoCodec
If the job outputs are compressed, how should they be compressed?
二、HBASE对这三种压缩格式的支持
HBase中可以对HFile进行gzip、lzo、snappy方式的压缩存储。
1、对于gzip压缩的支持
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'GZ' }
或者alter 'testtable'，不过要先disable table，完成压缩后，再enable table
2、对于lzo的支持，需要系统安装lzo动态库，以及hadoop lzo相关的native库，后把native库jar文件copy到hadoop/lib/native 及 hbase/lib/native中
同时在core-site.xml中，配置lzo压缩
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
io.compression.codec.lzo.class
com.hadoop.compression.lzo.LzoCodec
org.apache.hadoop.io.compress.DefaultCodec是hadoop默认的zlib压缩
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'lzo' }
3、 对于synappy的支持，需要安装snappy，并且 将 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz 的native中的动态静态链接库文件拷到hadoop以及hbase lib的native下面，将hadoop-snappy-0.0.1-SNAPSHOT.jar考到hadoop 以及hbase 的lib下
在core-site.xml中，配置lzo压缩
io.compression.codecs
org.apache.hadoop.io.compress.SnappyCodec
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'synappy' }
小编这里整理了更多相关的 学习资料和 学习视频，可免费领取。
加 VX：17778119562 通过验证备注：111（备注必填，方便通过）
网友评论