使用条件对抗生成网络的人脸老化
摘要：
最近对抗生成网络表明它可以生成具有非凡的视觉忠实度图片。在本文中，我们提出了基于对抗生成网络的方法来自动的进行人脸老化。与之前的文献使用对抗生成网络来转换脸部的属性相反，我们特别强调在老化的他/她的人脸上保留原始的人脸身份信息。为此，我们引入了新的方法来对对抗生成网络的隐藏向量进行身份保留优化。通过先进的人脸识别和年龄估计方案对于生成的老化和变年轻的人脸图片的评估表明提出的方法具有很大的潜力。
全文：https://arxiv.org/abs/1702.01983
这篇文章提出的人脸老化的GAN的架构如下：
网络架构[图片上传中...(2.png-74809b-1516265388225-0)]
生成老化的人脸的部分，就是右边部分(b)，就是一个条件GAN的形式，输入人脸的特征feature map z，以及年龄标签y，以此生成对应年龄标签的老化的人脸。文章并没有把重点落在优化生成的图片上，而是落脚这个输入的人脸特征z上。
GAN本身优化的loss如下
其中y为年龄标签，他们将年龄分成6组，分别对应年龄的区间0-18，19-29,30-39,40-49,50-59和60岁以上。所以上面的y标签为6*1的向量。
然后重点落在了特征保留的提取上，在预训练的GAN中，给出feature map和y标签，就能生成feature map对应的人的y对应年龄的图片。但作者要求对于原始的输入人脸图x提取的feature map和其对应的y0标签，同样在generator中，能重构该人y0年龄的原始的图片。也就是上图结构中的Encoder，这个Encoder来获取feature map，并通过优化如下问题：
来确保输入的x，和重构的x（应该是上划线的）提取特征是保持一致的。而优化上述问题采用的是L-BFGS-B算法（见论文Richard H Byrd, Peihuang Lu, Jorge Nocedal, and Ciyou Zhu, “A limited memory algorithm for bound constrained optimization,” SIAM Journal on Scientific Computing, vol. 16, no. 5, pp. 1190–1208, 1995.）
论文实验使用的数据集是IMDB-Wiki cleaned数据集（来源Grigory Antipov, Moez Baccouche, Sid-Ahmed Berrani, and Jean-Luc Dugelay, “Apparent age estimation from face images combining general and children-specialized deep learning models,” in Proceedings of Computer Vision and Pattern Recognition Workshops, Las Vegas, USA, 2016.）
实验设计首先验证的是身份保留的问题，采用的OpenFace软件（https://cmusatyalab.github.io/openface/），这个软件是判定两个给定的人脸是否属于同一个人，以此来判断重构的和原始的人脸是否一致。然后文章给出了部分人脸老化或者年轻化的结果。
结论是，可以研究融合逐像素的身份保留方法和文中的身份保留的方法，以取得更好的重构效果，来提升人脸老化后，保留原始人脸身份信息的能力。
网友评论