本文是arxiv上的一篇文章，作者是广州大学的，据作者所说是在under review阶段，本文在IQA的意义有点像今年CVPR的CBD-Net在image denoising，CBD-Net就是在构造带噪声image数据集上下功夫，本文就是在IQA的数据集的构造上下功夫，像TID2013就是24种不同的失真，每一个失真类型都生成不同的失真级别来构造数据，而真实数据集很有可能不止一种失真，所以本文就模拟了各种失真融合的过程，利用Weber-Fechner定律的反函数来构造曝光的失真，各种压缩，噪声的融合，生成了一批更加真实的IQA数据，并且以此数据训练ranker网络，在已有的TID2013，CSIQ等数据集上效果显著。
那么就来看看作者是怎样生产IQA数据集的，这个过程分成三步：首先，针对曝光问题，distorated图像中往往存在过度曝光或者曝光不足的问题，所以针对图像的光度生成一批失真图像，而由Weber-Fechner定律（这个是韦伯-费希纳定律，韦伯是个德国的心理学家，他提出人类的感知差异是由一定的刺激量在某种程度上达到一定的比例差异而体现的，费希纳是个德国的物理学家，他把韦伯的这个心理感知发现量化了，认为感知的比例是以刺激量的对数而等比增加的。就这个以对数比例改变失真级别的发现，我看了下之前的TID那些数据集是没用的，所以这个应该是能更适合人类的感知。）将不同失真级别用下式表示：
上式中的L是提取的原图像中的亮度分量，增加了后两项亮度再放到原图中就导致了过度曝光，而对数的亮度形式也对应着Weber-Fechner定律，k值得是过度曝光的失真级别，同理曝光不足的失真图像表示如下：
然后，第二步，在第一步生成的曝光问题的图像基础上增加其他类型的失真，作者通过实验发现，由运动引起的图像模糊，失焦，渐晕和对比度失真可以分别通过运动滤镜，高斯低通滤波器，色差和全局对比度递减来近似模拟。所以用1，2，3，4来对应前述四种模拟方法，将这四种失真进行排列组合，那么就是C41+C42+C43+C44 一共15种组合，分别增加到第一步生成的图像中。
第三步，应用JPEG压缩给予经过以上两步的图像，压缩级别由step1中的k决定，也就是整个过程的失真级别前后一致，在曝光问题中的失真级别和jpeg压缩的失真级别一一对应着，总的对应着这幅图像的失真级别。
以上三步生成IQA失真数据集的过程可以由下图中的算法表示：第一步过度曝光，曝光不足，过度和曝光不足三种失真类型；第二步15种组合的失真类型；第三步jpeg压缩；这其中失真级别k分成5种，加上原图，一共是3*15*（5+1）=270种图像，所以在LIVE-C数据集中经过失真扩充一共就有1162*270=313740张图像的数据集。
在生成了dis image数据集之后就用来训练ranker网络了，这一块就和rankiqa一样了，将对应的原图和5种失真级别的图像输入到ranker网络中进行训练，但作者在这一块训练时的loss有所改进，在rank阶段的目标函数为：
这个loss事实上就很像mergin ranking loss，上市中的Id就表示失真图像，y0表示reference image的得分mos，那么 y0/k+1 就相当于一个自适应的阈值，并且控制了级别间隔。为了进一步限制等级间隔，作者设计了一个上下限函数：
上式中的tw和tb表示最worst和best的score，综合以上，rank部分的整体loss就是：
上面的ranker网络采用的是resnet50，然后将rank训练好的网络进行finetune训练IQA的回归网络，loss为l2范数，整体的网络结构如下图：
上面介绍完了算法部分，下面就是实验部分，不得不说本文的实验结果是很好的，看下表，其中H-IQA是CVPR18年的那个“Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning”至今也没放出来代码的，能够比这个好说明结果是很不错的，应该是近期最好的结果了。主要原因是这个数据集的创造过程非常符合HVS，然后rank训练时又增加了上下限，主要还是数据集的创造合理，就像CBD-Net。
网友评论