论文笔记 |《Video Super-Resolution Wi

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7444187

---

1 Introduction

SR 算法可以分为两类：基于模型的算法、基于学习的算法

基于模型：将 LR 图像视为 HR 图像叠加了噪声的降采样版本，从 LR 图像中重建 HR 图像是不适定问题，因此需要正则化。（贝叶斯模型）

基于学习：从 LR 和 HR 图像对或图像的自相似性中学习表述，通常学习 patch 的表述，因此也逐个 patch 重建图像。（稀疏表示、字典学习）

2 Method

1. 用 SRCNN^[1] 预训练图片

SRCNN网络结构

图像分类网络通常包含池化层和规范化层，保证对输入图像的小位移和失真保持输出不变，但是对于 SR 问题，我们关注的是如何生成更多图像细节，因此池化层和规范化层可能起到相反的作用。

2. 三种视频SR网络结构

三种视频SR网络结构

以输入三帧为例，可以扩展为输入任何数量的帧。

3. 参数移植
要将预训练的参数移植到视频 SR 网络上去，以结构 (a) 为例，第一个卷积层的输入 filter 数变为原来的三倍，要保持后面层的输入（即第一个卷积层的输出）不变，那么每一个filter的参数值变为原来的 1/3。

4. 对称性
光流算法得到的匹配结果会有误差，但是从理论上讲，从 t-1 到 t 和从 t+1 到 t 的误差应该是相同的。因此，限定第 t-1 和 t+1 帧、第 t-2 和 t+2 帧……的权重是相同的。

5. 自适应运动补偿
使用 Druleas 算法^[2] 作为光流估计算法，得到下面公式中的 y_t-T^mc(i, j)。

e(i, j) 为运动补偿的误差，y_t-T^amc(i, j) 为最终结果。误差越大，结果中这一像素点的值越接近当前帧的值，也就是说邻域帧起的作用越小。

e(i,j)怎么计算原文中好像没说……

---

参考文献

[1] C. Dong, C. C. Loy, K. He, and X. Tang, “Learning a deep convolutional network for image super-resolution,” in Proc. IEEE Eur. Conf. Comput. Vis., 2014, pp. 184–199.

[2] M. Drulea and S. Nedevschi, “Total variation regularization of localglobal optical flow,” in Proc. IEEE Conf. Intell. Transp. Syst. (ITSC), 2011, pp. 318–323.