CNN超分辨梳理

作者: lpkhappy | 来源:发表于2019-12-29 11:59 被阅读0次

CNN超分辨梳理
图像超分辨率 Residual Dense Network
EECV2018 Image Super-Resolution
基于CNN的超分辨率list
2018-06-24
SRGAN-超分辨率重建GAN
超分辨的论文集合
视频领域常识
从代码角度解析av1 超分辨率模式
优酷视频上传问题

CNN超分辨

梳理一下这两年cnn超分辨网络，也便于以后自己查看。文章共分几大部分，下面详细介绍。

（一）SRCNN

srcnn网络是CNN超分辨的开山之作，论文详细论证了每一个卷积层的作用，并将卷积层与传统超分辨所的操作过程一一对应。虽然网络结构现在看来简单但是意义重大。下图为SRCNN网络结构。

SRCNN网络结构

整个网络的操作是在经过bicubic放大之后的图像上进行的，bicubic操作实际上是插值，作者没有用卷积操作来做，因为作者觉得bicubic输入输出不一样大，不便于实现（当时不像现在，可以用deconv，subpixel-conve 等）。

去除bicubic操作，网络结构总共分为三个部分：

1）Patch extraction and representation，即图像块的提取以及重表示；

2）Non-linear mapping，即非线性映射；

3）Reconstruction，即图像重建；

Patch extraction and representation

在很多传统算法中，如 PCA, DCT, Haar，都会将图像分为很多小块，并将这些小块经过一定的运算来提取相关特征。同样的，采用一组滤波器，来对这些小块进行卷积操作，也可以看作是这样的一个过程。作者将网络中的第一层卷积定义为操作

第一层卷积公式

$W_{1}$ 表示 $n_{1}$ 个大小为 $f_{1}$ x $f_{1}$ 的 filter， $B_{1}$ 表示 $n_{1}$ 个对应的偏置项， $\ast$ 表示卷积操作。每一个filter作用于通道数为 $c$ ，大小为 $d\times d$ 的图像块，生成一个图像特征图（实际操作是filter对图像每一个通道分别卷积，得到每一个通道的特征图，然后将 $c$ 个特征图求平均，得到一个 $d\times d$ 的特征图）。所有的filter卷积操作后总共会生成 $n_{1}$ 个特征图。每个特征图加上对应的偏执，之后采用ReLU激活函数进行非线性处理（对应公式中的 $max()$ 操作）。作者在实际中使用了 $f_1=9,11$

至此就完成了特征提取的过程，与传统算法提取特征过程相对应。

Non-linear mapping

非线性映射用来将第一层所提取到的 $n_{1}$ 个低维特征图映射为 $n_{2}$ 个高维特征。公式如下

第二层卷积公式

其中， $W_{2}$ 表示 $n_{2}$ 个 $f_{2}\times f_{2}$ 的filter， $B_{2}$ 表示对应的 $n_{2}$ 个偏置项， $\ast$ 表示卷积操作。第二层卷积操作中的每个滤波器作用于第一层输出的 $n_{1}$ 个特征图，输出一个新的特征图（实际操作是filter对 $n_{1}$ 个特征图中的每一个卷积，得到每一个新的中间图，然后将 $n_{1}$ 个中间图求平均，最终得到一个新的特征图）。总共会产生 $n_{2}$ 个新的特征图。(作者实际使用的 $f_{2}=1,3,5$ )。

作者也提到，这一过程也可以扩展为多层的卷积操作，比如两层卷积。

Reconstruction

传统算法中经常将高分辨率的图像块做平均处理，最为最终的重建图像。这一操作也可以用卷积操作来实现。

图像重建公式

其中 $W_3$ 表示 $c$ 个尺寸为 $f_3\times f_3$ 的线性滤波器，数目与图像通道数相同，便于产生最后的图像。如果输入的是图像，作者期望 $W_3$ 滤波的效果等于平均滤波器，如果输入的是图像后的变换系数，作者期望 $W_3$ 会先将变换系数反变换为图像，再做平均处理。作者实际使用的 $f_3=1,5,7$

经过 $W_3$ 的卷积操作，并加上偏置项后，就会得到最终的重建图像。

Relationship to Sparse-Coding-Based Methods

作者将这三层网络与稀疏编码超分辨过程进行了对应。

An illustration of sparse-coding-based methods in the view of a convolutional neural network.

Patch extraction and representation 和 Non-linear mapping，也就是前两层网络对应稀疏编码的的分辨率字典的建立，以及降低分辨率字典映射为高分辨率字典这一过程，包括特征提取，非线性映射。最后的Reconstruction过程对应于稀疏编码超分辨的重建过程。

稀疏编码超分辨可以看作是一种特殊的卷积网络超分辨。不过，稀疏编码超分辨并没有对每一个过程进行优化。

Results

作者最后给出了采用cnn超分辨结果与传统算法结果的比较。

其中网络结构采用的 $f_1=9,f_2=5,f_3=5,n_1=64,n_2=32$ ,对于x2,x3,x4超分倍数单独进行了训练。

reference:

http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

CNN超分辨梳理
CNN超分辨梳理一下这两年cnn超分辨网络，也便于以后自己查看。文章共分几大部分，下面详细介绍。（一）SRCN...
图像超分辨率 Residual Dense Network
摘要深度卷积网络deep convolutional neural network (CNN)在图像超分辨率Su...
EECV2018 Image Super-Resolution
abstract 卷积神经网络（CNN）深度对于图像超分辨率（SR）至关重要。但是，我们观察到图像SR的更深层网络...
基于CNN的超分辨率list
https://blog.csdn.net/antkillerfarm/article/details/79862...
2018-06-24
卷积神经网络（CNN）通过使用大规模外部样本已显示出单幅图像超分辨率（SISR）的显着改善。尽管它们基于外部数据集...
SRGAN-超分辨率重建GAN
SRGAN是2017年CVPR中备受关注的超分辨率论文，把超分辨率的效果带到了一个新的高度。所谓超分辨率重...
超分辨的论文集合
从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程深度学习端到端超分辨率方法发展历程（二）超分辨率...
视频领域常识
简单梳理过往工作中积累的视频领域常识：视频清晰度关键字：清晰度、码率、分辨率、格式、编码方式、标清、高清、超清...
从代码角度解析av1 超分辨率模式
简介 av1 超分辨率功能允许以较低的分辨率对帧进行编码，然后在编码后循环恢复过程中对其进行超分辨率（其实就是采样...
优酷视频上传问题
分辨率要求：高清分辨率>=960x400；超清分辨率>=1280x544；1080p分辨率>=1920x800；...