概述
1）压缩的好处和坏处
压缩的优点：以减少磁盘IO、减少磁盘储存空间
压缩的缺点：增加CPU开销
2）压缩的原则
（1）运算密集型的job，少用压缩
（2）IO密集型的JOb，所用压缩
MR支持的压缩编码
1）压缩算法对比介绍
| 压缩格式 | Hadoop自带？ | 算法 | 文件扩展名 | 是否可切片 | 换成压缩格式后，<br />原来的程序是否需要修改 |
|---|---|---|---|---|---|
| DEFLATE | 是，直接使用 | DEFLATE | .deflate | 否 | 和文本处理一样，不需要修改 |
| Gzip | 是，直接使用 | DEFLATE | .gz | 否 | 和文本处理一样，不需要修改 |
| bzip2 | 是，直接使用 | bzip2 | .bz2 | 是 | 和文本处理一样，不需要修改 |
| LZO | 否，需要安装 | LZO | .lzo | 是 | 需要建索引，还需要指定输入格式 |
| Snappy | 是，直接使用 | Snappy | .snappy | 否 | 和文本处理一样，不需要修改 |
压缩方式选择
Gzip压缩
优点：压缩率比较高
缺点：不支持Split；压缩/解压缩速度一般
Bzip2压缩
优点：压缩率高；支持Split
缺点：压缩/解压缩速度慢
Lzo压缩
优点：压缩/解压缩速度比较块；支持Split
缺点：压缩率一般；想支持切片需要额外创建索引
Snappy压缩
优点：压缩和解压缩速度快
缺点：不支持Split，压缩率一般
网友评论