美文网首页
hadoop 数据压缩

hadoop 数据压缩

作者: 无来无去_A | 来源:发表于2020-07-28 19:22 被阅读0次

1. hadoop checknative 可以查看hadoop 支持的压缩算法

image.png

2. 启用压缩算法总体来说 节省了 磁盘IO和网络宽带资源 ,但是加重了CPU 负担。

image.png image.png

MR支持的压缩编码

image.png

为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示。

image.png
压缩格式    对应的编码/解码器
DEFLATE org.apache.hadoop.io.compress.DefaultCodec
gzip    org.apache.hadoop.io.compress.GzipCodec
bzip2   org.apache.hadoop.io.compress.BZip2Codec
LZO com.hadoop.compression.lzo.LzopCodec
Snappy  org.apache.hadoop.io.compress.SnappyCodec

压缩性能的比较

image.png

snappy 介绍

http://google.github.io/snappy/

On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

压缩位置选择

压缩可以在MapReduce作用的任意阶段启用

image.png

压缩参数配置

要在Hadoop中启用压缩,可以配置如下参数 (mapred-site.xml文件中)


image.png

项目经验之支持LZO压缩配置

1.hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译.
步骤参考

Hadoop支持LZO

0. 环境准备
maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可,yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1. 下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码,下载地址:https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后,修改pom.xml
    <hadoop.current.version>3.1.3</hadoop.current.version>
2.3 声明两个临时环境变量
     export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
     export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 
2.4 编译
    进入hadoop-lzo-master,执行maven编译命令
    mvn package -Dmaven.test.skip=true
2.5 进入target,hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件
  1. 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/
[root@hadoop102 common]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/common
[atguigu@hadoop102 common]$ ls
hadoop-lzo-0.4.20.jar

3.同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

[root@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar
  1. core-site.xml增加配置支持LZO压缩
<property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

  1. 同步core-site.xml到hadoop103、hadoop104
[root@hadoop102 hadoop]$ xsync core-site.xml

6.启动及查看集群

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

项目经验之LZO创建索引

1. 创建LZO文件的索引,LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则LZO文件的切片只有一个。

案例: big_file.lzo 你自己要压缩的lzo格式的文件

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar 
com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

2. 测试

(1)将bigtable.lzo(150M)上传到集群的根目录

[root@hadoop102 module]$ hadoop fs -mkdir /input
[root@hadoop102 module]$ hadoop fs -put bigtable.lzo /input

(2) 执行wordcount程序

[root@hadoop102 module]$ hadoop jar 
/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1
image.png

(3) 对上传的LZO文件建索引

[root@hadoop102 module]$ hadoop jar 
/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar  
com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

4)再次执行WordCount程序

[root@hadoop102 module]$ hadoop jar
 /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 
wordcount /input /output2
image.png

压缩方式选择

Gzip压缩

image.png

Bzip2压缩

image.png

Lzo压缩

image.png

Snappy压缩

image.png

相关文章

  • HADOOP与HDFS数据压缩格式

    HADOOP与HDFS数据压缩格式 1、cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压...

  • Hadoop数据压缩

    4.1 概述 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Had...

  • hadoop 数据压缩

    1. hadoop checknative 可以查看hadoop 支持的压缩算法 2. 启用压缩算法总体来说 节...

  • Hadoop 之数据压缩

    1 概述 压缩策略和原则 2 MR 支持的压缩编码 为了支持多种压缩/解压缩算法,Hadoop 引入了编码/解码器...

  • Hadoop之数据压缩

    1 概述 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoo...

  • 16)Hadoop数据压缩

    压缩概述 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行M...

  • 085-BigData-13MapReduce案例分析

    上一篇:084-BigData-12MapReduce入门 续上一篇 四、Hadoop数据压缩 1、概述 压缩技术...

  • Hadoop学习之数据压缩

    概述 压缩技术能够有效减少底层存储系统(HDFS) 读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoo...

  • 大数据技术之MapReduce(四)

    Hadoop 数据压缩概述1 )压缩的好处和坏处压缩的优点:以减少磁盘 IO、减少磁盘存储空间。压缩的缺点:增加...

  • Lucene 7.5.0 LZ4算法

    LZ4是一种无损数据压缩算法,着重于压缩和解压的速度,并且应用广泛。在Hadoop、Linux内核、文件系统都有应...

网友评论

      本文标题:hadoop 数据压缩

      本文链接:https://www.haomeiwen.com/subject/bxrqrktx.html