应用深度学习的超分辨率重构

目录

1. 概述
2. SRCNN
3. DRCN
4. ESPCN
5. VESPCN
6. SRGAN

参考

• [1] github.com/IncyLiu/video-super-resolution

1. 概述

了解深度学习的超分算法，持续更新中...

超分辨率(SR)是计算机视觉领域的一个经典问题，旨在从低分辨率图像中恢复高分辨率图像(或视频)。它在监测设备、卫星图像、医学成像等方面具有重要的应用价值。

SR是一个逆问题，因为对于任何给定的低分辨率像素，都存在多个解。通过使用强先验信息约束解决方案空间，通常可以缓解此类问题。在传统方法中，这些先验信息可以通过出现的几对低分辨率图像来学习。基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端映射函数。

定量评价SR质量常用的两个指标是峰值信噪比(PSNR)和结构相似度(SSIM)。

下面介绍一些经典的深度学习SR方法。

2. SRCNN

SRCNN(super-resolution convolutional neural network, 超分辨率卷积神经网络)是较早提出的一种用于超分的卷积神经网络。网络结构非常简单，只使用了三个卷积层。

image.png

该方法首先对低分辨率图像进行双三次插值，将其放大到目标尺寸，然后利用三层卷积网络进行非线性映射。

从下图可以看出，在不同的放大倍数下，SRCNN比传统方法得到了更好的结果。

image.png

除了最早在SR问题中使用CNN外，作者将三层卷积的结构解释为与传统SR方法相对应的三个步骤:图像块提取和特征表示、特征非线性映射和最终重建。

3. DRCN

SRCNN有很少的层，因此很小的视野(13x13)。DRCN (deep - recursive Convolutional Network for Image Super-Resolution, CVPR 2016)提出使用更多的卷积层来增加网络的接受域(41x41)，为了避免网络参数过多，提出使用递归神经网络(recursive neural networks, RNN)。网络的基本结构如下:

image.png image.png

4. ESPCN

在SRCNN和DRCN中，首先通过上采样和插值得到与高分辨率图像大小相同的低分辨率图像。作为网络输入，与低分辨率图像卷积计算相比，在较高分辨率下进行卷积运算会降低计算效率。

ESPCN (Real-Time Single Image and Video Super-Resolution Using a Efficient Sub-Pixel Convolutional Neural Network, CVPR 2016)提出了一种直接对低分辨率图像进行卷积计算以获得高分辨率图像的有效方法。

ESPCN的核心概念是亚像素卷积层。网络输入为原始低分辨率图像。经过两个卷积层后得到的特征图像大小与输入图像相同，但特征通道为r^2(r为图像的目标放大倍数)。

将每个像素的r^{2通道重新排序为一个rxr区域，对应于高分辨率图像中的一个rxr大小的子块，将大小为r}2xHxW的特征图像重新排列为1 x rH x rW大小的高分辨率图像。虽然这种变换称为亚像素卷积，但实际上没有卷积运算。通过使用亚像素卷积，图像从低分辨率放大到高分辨率的过程，插值函数隐式地包含在前面的卷积层中，可以自动学习。只有在最后一层，图像的大小才会被转换。之前的卷积运算是高效的，因为它是在低分辨率图像上执行的。

image.png image.png

5. VESPCN

在视频图像的SR问题中，相邻帧具有很强的相关性。上述方法只针对单一的图像处理。

VESPCN(Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation, arxiv 2016)提出的使用时间序列图像重建高分辨率的视频，可以满足实时处理的效率要求。该方法主要包括三个方面:

1. 对相邻帧的偏移量进行校正，即先通过运动估计来估计位移，然后利用位移参数对相邻帧进行空间变换来对齐。
2. 对齐后叠加多个相邻帧。在低分辨率的三维数据应用三维卷积。
3. 利用ESPCN的思想对卷积结果进行重新排列，得到大小为r^2 * rH * rW的高分辨率图像。

运动估计过程可以用传统的光流算法来计算。DeepMind提出了一种利用CNN估计空间变换参数的Spatial Transformer Networks。VESPCN利用该方法和多尺度运动估计，得到比输入图像分辨率低的初始变换，得到与输入图像分辨率相同的更精确的结果。

6. SRGAN

SRGAN (Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, arxiv, 21 Nov, 2016)使用生成对抗网络(GAN)来解决SR问题。

传统方法通常处理较小的放大倍数。当图像的放大率在4以上时，很容易使结果显得过于平滑，在细节上缺乏一些真实感。SRGAN使用GAN在图像中生成细节。

传统方法所使用的代价函数一般为最小均方误差(MSE)