论文笔记 |《Frame-Recurrent Video Sup

论文链接：
https://arxiv.org/pdf/1801.04590.pdf

---

光流图的概念：
看了前两篇文章，一直不知道光流图的概念是什么，所以在这篇论文之前先了解一下光流的概念。其实光流表示的就是目标帧中的像素相对于原始帧的位移。摘抄一段博客：

光流分为稀疏光流和稠密光流，稀疏光流就是只计算图片中特定点的光流，而稠密光流则要计算每一个像素的光流。
简单地说，光流就是在连续图片序列中，从第t帧到第t+1帧，每个像素的运动速度和运动方向。比如，第t帧的时候 A 点的位置是 (x₁, y₁)，那么我们在第t+1帧的时候再找到 A 点，假如它的位置是 (x₂, y₂)，即 I_t(x₁, y₁) = I_t+1(x₂, y₂) = I_t+1(x₁+u_x, y₁+u_y)，那么我们 t->t+1 的光流即为：(u_x, u_y)。所以给定一对图片 t->t+1，就可以计算出这对图片之间的光流图，大小和两帧的图片相同。
有了 t->t+1 的光流，我们可以利用t+1帧的图片和这个光流将t+1帧 warp 到t帧，得到t帧的图片。怎么计算呢？对于第t帧上的每个像素点 I_t(x₁, y₁) ，都有 I_t(x₁, y₁) = I_t+1(x₁+u_x, y₁+u_y) ，直接在t+1帧上取出 (x₁+u_x, y₁+u_y) 位置处的值就好，这个坐标极有可能是浮点数，双线性插值即可。

---

版权声明：本文为CSDN博主「爆米花好美啊」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013010889/article/details/71189271

1 Method

1.1 FRVSR 框架
计算当前帧的 SR 图像时，用到了当前帧的 LR、前一帧的 LR、以及前一帧的 SR，框架的整体结构如下图所示：

FRVSR 框架

1. 光流估计：对 I^LR_t 和 I^LR_t-1 做光流估计，得到映射 F^LR；
2. 光流上采样：对得到的光流映射 F^LR上采样；
3. wrap 上一帧输出：对上一帧的输出使用 2 中上采样得到的映射进行 wrap；
4. 映射到 LR 空间：将上一步的结果拆分成和 LR 图像大小相同的多通道图像，如下图所示；
5. 超分辨率：将 4 的结果与当前帧的 LR 输入 SR 网络，得到最终结果。

图像拆分示意图

1.2 损失函数
损失函数分为两部分：SR 损失和光流损失，如上面 FRVSR 框架图所示，总损失为二者之和。

1.3 实现
本文实验中用到的 SRNet 和 FNet 结构如下：

SRNet 和 FNet 结构