1.论文题目:Context Encoders: Feature Learning by Inpainting
论文来源:2016 CVPR
(1)所解决问题
通过基于上下文像素预测驱动的无监督的视觉特征的学习算法,利用周围的图像信息来推断缺失的图像
本文的上下文编码器需要解决一个困难的任务:填补图像中大量缺失的区域,而这些区域无法从附近的像素中获得“提示”。
(2)所构建网络
主要思路:
主要思路是结合Encoder-Decoder 网络结构和 GAN (Generative Adversarial Networks),Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图,GAN部分用于判断预测图来自训练集和预测集的可能性,当生成的预测图与GroundTruth在图像内容上达到一致,并且GAN的判别器无法判断预测图是否来自训练集或预测集时,就认为网络模型参数达到了最优状态
上下文编码器。上下文图像通过编码器获得连接到解码器的特征,解码产生图像中缺失的区域。网络训练的过程中损失函数都由两部分组成:Encoder-decoder 部分的图像内容约束(Reconstruction Loss)GAN部分的对抗损失(Adversarial Loss)。Context Encoders 采用最简单的整体内容约束,也就是预测图与原图的l2 距离。
(3)评价指标
文章使用来自两个数据集的图像进行实验:不使用任何附带的标签的Paris StreetView和ImageNet。
文章从两个方面显示了其优越性,一方面为上下文编码器在填充缺失区域的能力,另一方面使用上下文编码器作为图像分类、目标检测和语义分割的前训练步骤,演示了其学习到的特征可以转移到其他任务。文章将这些任务的结果与其他无监督或自监督方法的结果进行比较,证明其方法优于以前的方法。
缺失修复结果对比 定量对比其在分类,检测等任务中的作用
网友评论