An End-to-End Compression Framew

本文地址：http://export.arxiv.org/abs/1708.00838
本文主要是利用卷积神经网络解决低级视觉问题，提高低比特率的图像压缩质量。两个CNN网络被结合成一整个端到端的压缩框架。

• ComCNN：compact CNN，从输入图像中学习最优压缩表示，保持结构信息，然后使用图像编解码器进行编码。
• RecCNN：reconstruction　CNN，用于高质量重构解码之后的图像。

为了使两个cnn能够有效的协作，提出了一个统一的端到端学习算法，同时学习ComCNN和RecCNN，这使得用RecCNN对解码后的图像进行准确的重构变得容易。

Introduction

图像压缩的目的是减少图像的不相关性和冗余，以便以较低的比特率存储或传输图像。
现在的图像编码标准由转换、量化和熵编码组成。
介绍部分介绍了许多去除图像伪影的方法，包括各种滤波器、以及约束非凸的算法。
论文的主要贡献包括：

• 提出了一个端到端压缩框架，使用两个CNNs和一个图像编解码器。ComCNN使用图像编解码器产生一个紧凑的编码表示。
  RecCNN分别重建解码后的图像。这是第一次使用紧凑的中间表示将现有的图像编码标准与CNNs连接起来。
• 进一步提出了一种同时学习两个cnn的有效学习算法，解决了由于量化中的舍入函数不可微，使得反向传播算法不能传递梯度的问题。
• 提出的压缩框架与现有的图像编解码器(如JPEG、JPEG2000或BPG)兼容，使方法更适用于其他任务。

Relate works

A.Image Deblocking and Artifacts Reduction
提出了一些利用后处理技术提高解码图像质量的方法，大致可分为面向解密和面向恢复两类。
面向解密的方法主要是去除解码图像中的阻塞和伪影现象。
面向恢复的方法将压缩操作视为一个失真过程，通过恢复清晰图像来减少伪影。
论文中提到了很多参考文献，但是在所提出的方法中，图像先验模型在面向去块和面向恢复的方法中都扮演着重要的角色。这些方法在求解具有复杂公式推导的最优解时，涉及到计算量大的迭代过程。因此，它们可能不适合实际应用。总之，相关方法都是从图像后处理的角度来提高图像质量的。换句话说，编码器前端处理与解码器后端处理之间的连接被忽略。尝试联合优化编码器和解码器的联合优化，以提高压缩性能。

B. Image Super-Resolution Based on Deep Learning
神经网络已成功地应用于图像超分辨(SR)，特别是提出了残差学习和基于梯度的优化算法来有效地训练深度网络。
C. Image Compression Based on Deep Learning
深度学习已被用于有损和无损图像压缩，并取得了很好的性能。但同时忽略了与现有图像编解码器的兼容性，这限制了它们在一些现有系统中的使用。

Framework

A.Architecture of End-to-End Compression Framework

正如上图所示，整个框架是由两个卷积神经网络和一个图像编码解码器构成。ComCNN被用于生成输入图像的压缩表示，用于之后的编码，压缩表示能很好的保存图像的结构信息也能促进高质量图像的准确重构。RecCNN用于提高解码图像的质量。两个网络互相合作并且同时优化,达到低比特率下高质量的图像压缩。

• Compact Representation Convolutional Neural Network (ComCNN):
  ComCNN有3个权值层，保持了原始图像的空间结构，便于使用RecCNN对解码后的图像进行精确重建。第一层用于进行patch提取和表示，从输入图像中提取重叠的patch,用了64个33c大小的卷积核生成64个特征映射,ReLU作为激活函数。第二层有两个特别重要的作用:下采样以及增强特征,通过使用步幅为2的卷积实现,使用了64个3364大小的卷积核。最后一层,c个3364大小的卷积核用于构成压缩表示。
• Reconstruction Convolutional Neural Network (RecCNN):
  
  RecCNN由20个权值层构成,三种类型的图层组合:卷积层+ReLU ,卷积层+批量归一化+ReLU,卷积层。第一层:用了64个33c大小的卷积核生成64个特征映射,ReLU稍后。第2层到第19层,使用了64个3364大小的卷积核,在卷积与ReLU之间用了批量归一化。最后一层,c个3364大小的卷积核用于重构输出。
  残差学习与批量归一化用于加速训练提高型能。
  压缩图像需要先使用双三次插值上采样到输入图像的大小。
  B. Learning Algorithm
  根据所提出的结构,ComCNN与RecCNN尝试着重构出与原图像尽可能相似的重构图。端到端的优化目标是以下方程式：
  
  x是输入图像,θ1和θ2分别是ComCNN,RecCNN的网络参数,Cr(·) 代表了ComCNN,Re() 代表了RecCNN,Co(·) 表示图像编码解码器.从这个目标函数可以看出，原始图像x经过的压缩过程，包括ComCNN、图像编解码器和RecCNN，最后输出重建后的图像。
  然而,Co(·) 中涉及到了取整函数,在反向传播算法中该函数不可微分.为了解决这个问题,提出了一个迭代优化学习算法:
  固定参数θ2,可以得到:
  
  固定参数θ1,可以得到:
  
  1)更新参数θ2:引入了一个辅助变量xm，并将其定义为x的解码紧凑表示，其表达式为:
  
  将Eq.(4)和Eq.(3)结合得到:
  
  2)更新参数θ1:因为Co(·)的不可微分导致获得最优的θ1很麻烦,再次定义一个新的辅助变量作为RecCNN的最优输入：
  
  假设,对于辅助变量而言Re() 是一个单调函数:
  
  且仅且:
  
  
  选取一个最优解的θ1,能够使得编码解码过程满足单调.
  
  则,最优解就可以得到:
  
  
  最后得到,即使不使用图像编码解码器函数也可以得到最优解θ1,我们可以通过迭代优化分别从Eq.(5)和Eq.(13)中获得最优θ1和θ2 。所提出的算法的描述如下:
  
  C. Loss Functions
  1.)对于ComCNN训练:给定原始图像x以及参数,使用了均方误差(MSE)作为损失函数:
  
  2.)对于RecCNN训练:从原始图像以及ComCNN网络中获得一组压缩表示 ˆ xm ，使用MSE作为损失函数：
  
  其中θ2表示可训练的参数。res(·)表示RecCNN得到的残差。它看起来与式(5)有点不同，但它们并不矛盾。实际上，它们本质上是相同的，式(15)只是将式(5)表示为残差的形式。

Experiments

为了评估提出的压缩框架的性能，使用后处理去块或去噪方法与标准压缩方法进行了实验比较。同时，为了证明ComCNN的有效性，在训练框架中去掉了ComCNN，只使用RecCNN重构解码后的图像。同样的，去掉RecCNN，利用双三次插值来检验ComCNN的效果，得到与原始图像大小相同的重建图像。
A. Datasets for Training and Testing
使用了去噪相关数据集,不是特别常见.Nosiy image dataset:The See in the Dark (SID)dataset使用400张大小为180 * 180的图像进行训练。在训练图像上以20的步长采样204800个patch，并对它们进行增强(以不同的角度翻转和旋转)。实验表明，使用更大的训练集只能带来微不足道的性能改进。使用了如图5所示的7幅图像进行测试，这7幅图像在文献中被广泛使用。请注意，所有的测试图像不包括在训练数据集中。

B.Model Initialization
我们初始化权重ComCNN使用Adam优化器,α= 0.001,β1 = 0.9,β2 = 0.999和ε= 10 8。训练了50个epoch的ComCNN，使用128个批次。学习速率在50个周期内呈指数衰减，从0.01衰减到0.0001。RecCNN的权值初始化和梯度更新与ComCNN相同。RecCNN也使用与ComCNN相同的批处理大小进行50个epoch的训练。学习速率在50个世代内呈指数衰减，从0.1衰减到0.0001。
C. Experimental Results
将所提出的方法与所比较的方法进行了PSNR和SSIM的比较。质量因子QF = 5和QF = 10的所有测试图像的对比结果给出了.
论文给出了测试代码:
https://github.com/compression-framework/compression_framwork_for_tesing