美文网首页
图像修复论文笔记:Context Encoders: Featu

图像修复论文笔记:Context Encoders: Featu

作者: lishuoshi1996 | 来源:发表于2018-08-22 16:19 被阅读0次

    1.论文题目:Context Encoders: Feature Learning by Inpainting

    论文来源:2016 CVPR

    (1)所解决问题

    通过基于上下文像素预测驱动的无监督的视觉特征的学习算法,利用周围的图像信息来推断缺失的图像

    本文的上下文编码器需要解决一个困难的任务:填补图像中大量缺失的区域,而这些区域无法从附近的像素中获得“提示”。

    (2)所构建网络

    主要思路:

    主要思路是结合Encoder-Decoder 网络结构和 GAN (Generative Adversarial Networks),Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图,GAN部分用于判断预测图来自训练集和预测集的可能性,当生成的预测图与GroundTruth在图像内容上达到一致,并且GAN的判别器无法判断预测图是否来自训练集或预测集时,就认为网络模型参数达到了最优状态

    上下文编码器。上下文图像通过编码器获得连接到解码器的特征,解码产生图像中缺失的区域。


    网络框架

    网络训练的过程中损失函数都由两部分组成:Encoder-decoder 部分的图像内容约束(Reconstruction Loss)GAN部分的对抗损失(Adversarial Loss)。Context Encoders 采用最简单的整体内容约束,也就是预测图与原图的l2 距离。

    (3)评价指标

    文章使用来自两个数据集的图像进行实验:不使用任何附带的标签的Paris StreetView和ImageNet。

    文章从两个方面显示了其优越性,一方面为上下文编码器在填充缺失区域的能力,另一方面使用上下文编码器作为图像分类、目标检测和语义分割的前训练步骤,演示了其学习到的特征可以转移到其他任务。文章将这些任务的结果与其他无监督或自监督方法的结果进行比较,证明其方法优于以前的方法。

    缺失修复结果对比 定量对比其在分类,检测等任务中的作用

    (4)源代码

    lua官方版本

    tensorflow版本(未实现全部功能)

    相关文章

      网友评论

          本文标题:图像修复论文笔记:Context Encoders: Featu

          本文链接:https://www.haomeiwen.com/subject/dfvjiftx.html