自从何凯明提出Non-local network之后，将非局部思想融入到各种图像任务的作品层出不穷，图像去噪领域也产生了不少，比如IJCAI2019的“Residual Non-local Attention Networks for Image Restoration”，CVPR2017年的“ Non-local color image denoising with convolutional neural networks”，还有本文NIPs2018的作品，都是将NLB融入到图像恢复的网络里，但是网络本身有所不同，结果也各异。
本文是将非局部方法融入到了RNN里，虽然作者说是自己创建的NLB，但和何凯明的做法十分相似。本文有三个主要贡献：1）提出了一个非局部的模块可以灵活地集成到现有的深度网络中，用于端到端训练以捕获每个位置和它的邻域之间的深度特征相关性。2）用了循环神经网络可以在相邻的状态间传播，增加了网络的鲁棒性（3）文章证明了邻域之间相关性的作用。本文的目标函数如下表示：其中X是噪声图像，Z为clean image，Φ(X)是针对空间的非局部操作,通过指定函数计算两个像素之间相关性，G(X)是针对通道的非局部操作，δ(X)是对像素的归一化处理。
上式写开就是：
其中Φ(X)ij可以用如下函数表示：
文章中将欧几里得距离和线性嵌入高斯核作为度量距离得到如下目标公式与对应的网络：
对比何凯明的NLNN结构，一模一样，就是应用而已。
硬要说与NLNN不同的地方就是覆盖范围了，NLNN里计算和全幅图像每个像素的相似性，而这里只计算和周围邻域内的相似性，如上图里的蓝色区域即为计算邻域。然后看作者如何将上面的NLB融入到RNN里：
RNN的结构很简单，先经过非局部模块输入到两个卷积层中，然后与前一状态的结果相加输出，和NLB结合起来的结构就是：
实验结果如下，去噪，超分辨。
网友评论