本文是CVPR 2018年一篇文章，作者是北大的，本文的想法就是我想做no-refernence的IQA，但是我没有reference，所以我要先造出来reference，然后依据这个生成的reference进行IQA。这个想法可以说是很有价值的，一方面解决了no-reference缺少label的问题，另外造reference的过程本就是图像恢复的过程，这也就变成了一举两得的工作。
上图就是整个网络结构，由三部分组成，生成幻象图（Hallucinated image）的generator网络G，及其对应的discriminator网络D以及生成质量得分的回归网络R，下面分别介绍三个子网络。
G：生成器就是一个图像恢复的小网络，具体结构作者没有细说，就是卷积和反卷积的组合生成Hallucinated image，生成器部分的loss由两大块组成，一个是基于像素级别的mse loss，另一个是基于语义级的感知损失：
上式中的lp即为像素loss，ls即为语义loss，其中ls又有两部分组成：
其中lv是由ImageNet预训练的VGG19网络第J层的特征loss，lq是预测IQA得分的回归网络R在第K层的特征loss（这个做法源自于图像风格迁移），这两个loss就从特征层面上将VGG的语义信息和IQA的信息融入，保证G的生成结果对于IQA更有效：
D：判别网络不同于其他的只是判断G的结果同label是否一致，而是将R的输出得分与真实得分作为判别的标准，也就是如果G生成的幻象图对R网络的IQA是有益的则认为G的生成为真，否则为假。因此adv的loss为：
因此整个GAN的loss为：
R：进行IQA的回归网络的输入不仅仅是distorted的图像，还有生成的幻象图同distorted的差异图，在经过网络学习得出最终得分之前还有一个特征融合的部分，就是将G网络中第N个stack的特征输出同R网络最后一个block的特征输出通过concat进行融合：
特征融合做法是IQA领域习以为常的方法了，就是将其他网络中对IQA有益的信息引入，R网络本身的loss就是L1 loss：
实验：
作者在四个IQA常见的数据集上进行了实验LIVE，CSIQ，TID2008，and TID2013，图像大小为256*256，在实验时对其随机采样32的patch进行训练，实验结果如下表：
相比于ICCV17年的rankIQA，本文所提出的方法在TID2013上进步巨大，即使是跨数据集结果也很好，下表是在LIVE数据集上训练在TID2008上测试的结果：
Ablation study的结果如下图：BL是基准的IQA网络，HCM是增加幻想图部分，QSL为在基础上增加了特征级别的loss，ADV增加了对抗学习的部分，HSF就是增加了特征融合部分，所有根据下图来看幻象图和对抗学习的增加效果明显。
目前代码仍未放出，已经一年多了，这篇文章复现起来有一定的难度，很多参数都没有给出，期待作者尽快放出代码啊~
网友评论