美文网首页
FaceID-GAN: Learning a Symmetry

FaceID-GAN: Learning a Symmetry

作者: Junr_0926 | 来源:发表于2018-10-07 11:06 被阅读0次

    1. 前言

    CVPR2018的文章。
    在图片合成领域,GAN得到了非常多的应用。和传统的GAN拥有一个generator和一个discriminator,两者相互竞争不同,FaceID-GAN拥有三个player。如下图:


    Figure 1(a)

    多了一个player是classifier,它和generator竞争,来区分真是图片和合成图片的id。

    2. 介绍

    从上图中左图可以看出,传统的GAN包含了GD两个player,G用于产生合成图片,D用于区分真实图片和生成的图片。
    但是在人脸领域中,仅仅产生一个看似真实的图片是不够的,我们期望产生的图片和原来的图片能够看着像同一个人。也就是identity-preserving 。为此
    作者拓展了原来的GAN,增加了一个classifier,也就是C
    C将真实图片和生成图片作为输入,也就是x^r, x^s。之后预测它们的label:l_{id}\in R^{N*1}。我们希望它们预测得到的label一样。

    有一点需要注意的是,即使C用于将真实图片的特征和生成图片的特征分为同一类,但是它并不具备将这两个特征变的非常接近的能力。如下图:

    Figure 2

    它做的仅仅是让f^s_{id1}f^r_{id1}的距离比f^s_{id1}和其他的距离近而已。

    因此,仅仅加一个分类器C并不能保证identity preserve。为此作者提出了FaceID-GAN。让CG竞争,和D合作。从上图的右图可以看出,FaceID-GAN不仅在id1和id2之间分类,而且在真实的id1和假的id1之间分类(通过使用2N个label)。在这种情况下,为了迷惑CG生成的图片,在特征空间上,不仅仅要在正确的分类边界内,还必须尽可能地靠近真实的特征。

    由于C同时处理真实图片和生成图片,它比分别处理更加容易。

    2. Previous work

    • one-to-one: Figure 3 (a)

      学习一对一的映射,例如:风格转换,高分辨率图片生成,从图片到草图的生成等。

    • many-to-one: Figure 3 (b)

      例如人脸的转正。

    • many-to-many: Figure 3 (c)
    • FaceID-GAN: Figure 3 (d)

    3. Proposed Method

    整体结构如下图:

    Figure 4
    从上图看出, 1,2,3
    其中, 4
    其中 5

    3.3 Shape Estimator P

    作者使用3D Morphable Model(3DMM)来将人脸图片映射到shape feature space

    3.4 Generator G

    9, 10

    相关文章

      网友评论

          本文标题:FaceID-GAN: Learning a Symmetry

          本文链接:https://www.haomeiwen.com/subject/tmuhaftx.html