作者
介绍
作者提出了一种生成式图像修复系统，该系统基于从数百万个图像中学习的门控卷积，无需额外的标记工作。作者所提出的卷积解决了将所有输入像素都视为有效像素的香草卷积问题，通过为所有通道在所有层上的每个空间位置提供可学习的动态特征选择机制来概括部分卷积。
此外，由于自由形式的蒙版可能会出现在任何形状的图像中，因此为单个矩形蒙版设计的全局和局部GAN均不适用。因此，我们还通过应用频谱归一化提出了基于补丁的GAN损失，称为SN-PatchGAN鉴别密集图像斑块。SN-PatchGAN的配方简单，训练快速，稳定。自动图像修复和用户指导的扩展的结果表明，与以前的方法相比，我们的系统可产生更高质量和更灵活的结果。我们的系统可帮助用户迅速移除分散注意力的物体，修改图像布局，清除水印并编辑脸部。
下图显示处理：
作者在项目中提供了一个交互式演示，我们可以自由地遮盖图像的某些部分，然后检查其生成效果。Deepfill V2提供了两个模型，这些模型在两个数据集上进行了预训练：places2和celebahq。从效果的角度来看，至少对于这两个数据集，它在场景和面部图像中做得非常好，尤其是在人脸补全效果突出。
第一行是真实图像，第二行是删除细节的图像，第三行是DeepFill v2修复的图像
作者指出，该项目只有三个依赖项，即Python 3、TensorFlow和他制作的TF工具包neuralgym。作者在TF 1.3、1.4、1.5、1.6、1.7上进行了测试，并将各种模型超参数放入YML文件中，以便于调整。
这是一种新型门控卷积神经网络来修复图像，利用了 GAN 生成与判别模式，生成的修复图会经过提炼，并期待能欺骗判别器，令判别器将其判断为真实修复图，我们来看看它的主体框架：
带有门控卷积和SN-PatchGAN的框架概述，用于自由形式的图像修复。
我们来看下作者针对不同方法的比较，包括PatchMatch，Global＆Local，ContextAttention，PartialConv和我们的方法。图片修复的比较基于四个维度：Semantics，Non-Local，Free-Form和User-guided选项如下图所示：
均值误差比较
相关修复图片
结论
作者提出了一种基于端到端生成网络的新型自由形式图像修复系统，该网络具有门控卷积，并经过逐像素1损失和SN-PatchGAN训练。而且证明了门控卷积显着改善了免费的修复效果形式的掩码和用户指导输入。我们以用户素描为例，以帮助用户快速移除分散注意力的对象，修改图像布局，清除水印等。
论文地址源码下载地址：关注“图像算法”微信公众号 回复“DeepFill”
网友评论