本文是CVPR2019年新出的文章，为数不多的几个做图像恢复的作品，主要是提出了一个双残余的结构用来做图像恢复，文章首先对resnet的结构提出了几个变体，如下图所示，f是传统cnn中的结构，g是用于图像恢复的工具模块，比如上采样下采样，attention结构等：
然后对上述的b，c，d三种变体分别进行了相同实验设置的对比实验，结果如下：
可以看出d结构对于图像恢复结果最好，所以作者在这个结构的基础上设计了一系列的网络用于图像恢复，首先提出了4个不同的block，如下图所示：
这四个结构都是在上述的d的基础上的变形，DuRB-P中就是卷积层的resent链接，DuRB-U是卷积层先经过下采样然后再工具块中增添上采样；DuRB-S是在最后增加了SE-Net中的通道attention模块，通道attention模块结构如下图所示；DuRB-US就是同时使用了下采样，上采样和通道attention。这四种block对应着不同的图像恢复任务。
1. Denoising
首先对于图像去噪任务来说，网络结构如下图所示，就是上面的DuRB-P的使用，在BSD200灰度数据集和真实噪声图像下的实验结果是：
2. Deblur
对于去模糊任务，作者先经过4倍下采样将图像尺寸缩小便于全局处理，将之前的BN层换成了实例正则化，然后使用了6个DuRB-U模块继续去模糊，然后经过2个2倍上采样恢复到原始图像大小，试验结果如下：
3. Dehaze
去雾网络去除了正则化的处理，将中间的DuRB-U从去模糊网络中换成了12个DuRB-US，其余无创新，结过如下：
4. Derain
去雨的过程分成两部分，首先是对雨滴和雨条的检测，这是前面3个DuRB-S的任务，其中的attention结构可以将雨滴的特征信息传递给后面的网络，便于其对雨的去除，去除雨的工作由6个DuRB-P来完成，结果如下
从上面的特征可视化图可以看出attention map的结果是能提取有效的雨滴信息的。
网友评论