这篇也是关于Blind image Quality Accessment，用的同样是ranking的方法
文章地址
这篇的和上一篇的思路非常相似。先看输入结构 generate a large number of corrupted image pairs,and use a set of existing IQA models to identify which image of each pair has higher quality.同样是采用corrupted pairs＋ranking标记，不过这里的ranking不是通过主观检验得到的，而是根据不同的Annotator（就是已经存在的各种iqa模型）得到的。（对于同一对pair，不同的annotator有不同的意见，给出的二进制标签不一定相同，所以是noisy lables。所以最后输出结果除了质量分数还有不确定性）
ps.普通的BIQA往往是通过评估图片本身的一些统计特征，空间归一化系数或者模糊程度之类的,具有这种特征的图片不太“自然”。现在如果利用CNN方法做图片质量评估，就需要大量的训练样本来让模型收敛。现实中是没有这么多训练样本的，这里介绍了一些现有的补偿思路1.在一个训练好的物体检测CNN基础上训练，抬高起点。2.把图像切成很多小图像块training a CNN on image patches，不过怎样把局部质量转化为全局质量也是个问题。
*感知质量先验模型用的是高斯分布（感觉这里比较有特点，将图片的感知质量不是视为标量数值，而是视为mean＋deviation的高斯分布，所以这个CNN的输入是corrupted pairs ＋ranking from different annotator,输出是perceptual quality和uncertainty，也就是图像感知质量的的一个高斯分布模型）
*对Annotator的hit rate建模。二项分布。这里model了annotator的可靠性，α和β（注意这两个是和w一样的待调整参数），分别表示【annotator判定是1的情况下真的是1的概率】【判定是0的情况下真的是0的概率】
our goal is to optimize two differentiable functions, fw(x) and σw(x),parameterized byavector w, that estimate the perceptual quality and its uncertainty, respectively
然后下面是比较重要的一段数学推导。假设图片之间是独立的，则两个高斯分布之差仍然是高斯分布——就可以用标准分布函数表示出来x感知质量比y好的概率了。然后还定义了不同感知机的感知精度，用的是判断正确的比例来估计的。
*优化似然估计（关于损失函数和最大似然的问题）
对概率模型估计用最大似然估计。目前我们观测到的样本是“已发生的事件”，似然函数就是，某种特定情况下这件事发生的可能性。我们要找的最大似然的模型，就是在这种情况下，这件事发生的概率最大。任务就是通过调整参数令最大化似然函数。（这个最大似然函数的推导有点绕。但是其实就是二项分布和高斯分布组合起来的条件分布的关系.....不是很难。）
接下来是神经网络的搭建，涉及到了GDN（归一化方法？）后面就是实验过程，用了九种不同的IDA Model，sample 了400000对pairs,介绍了一下参数和优化方法（也是Adam）,实验结果。最后问题就是在产生训练数据的时候要指定失真类型？所以对于新的类型噪声可能存在问题。
GDN层 ICLR2016论文《DENSITY MODELING OF IMAGES USING A GENERALIZED NORMALIZATION TRANSFORMATION》提出了GDN层，是一种更适合图像重建的归一化层。作者在ICLR2017论文《END-TO-END OPTIMIZED IMAGE COMPRESSION》
这两篇论文待看。
网友评论