美文网首页Machine Learning And Computer Vision
基于TP-GAN的侧脸人像恢复 

基于TP-GAN的侧脸人像恢复 

作者: a微风掠过 | 来源:发表于2017-11-07 20:39 被阅读97次

中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧面照片合成正面人脸图像,取得了当前较好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,合成的图像非常逼真且很好地保留了身份特征,并且可以处理大量不同姿势的照片。研究人员指出,这些合成的图像有可能用于人脸分析的任务。

他们受人类视觉识别过程启发,结合对抗生成网络(GAN)的强大性能,提出了一个双路径 GAN(TP-GAN),能够在关注整体结构的同时,处理人脸面部细节,在不同的角度、光照条件都取得了很好的结果。不仅如此,这种方法还能够处理大量不同姿势的照片。

他们的这项工作主要贡献在于三个方面:

1)提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,能够根据单一的图像合成正面人脸视图,合成的图像非常逼真且很好地保留了身份特征,而且可以应对大量不同的姿势。

2)将从数据分布(对抗训练)得来的先验知识,和人脸领域知识(对称性、身份保留损失)结合起来,将从三维物体投射到二维图像空间时固有的缺失信息较精确地恢复了出来。

3)展示了一个“通过生成进行识别”(recognition via generation)的框架的可能性,并且在大量不同姿势下取得了目前较好的识别结果。


受此启发,作者提出了一个有两条路径的深度架构(TP-GAN),用于正面人脸图像合成。这两条路径,一条专注于推理全局结构,另一条则推理局部的纹理,分别得到两个特征地图。这两个特征图会融合在一起,用于接下来的最终合成。

TP-GAN总结构示意图。生成器包含两个路径,一个处理全局信息,一个处理局部变换。判别器在合成的正面(SF)视图和真实相片(GT)。

不仅如此,作者还将正面人脸分布的信息并入了一个生成对抗网络(GAN),由此对恢复过程进行了很好的约束。

GAN 在二维数据分布建模方面的卓越性能(capacity)极大地改善了很多不合理的低级视觉问题,比如超分辨率和修复(inpainting)。

组合多种Loss,合成缺失部分,保留面部突出特征。

根据人脸是对称结构这一点,提出了一个对称性损失(symmetry loss),用于补全被遮挡住的部分。

困难场景。面部特征,包括胡须、眼镜,TP-GAN 都保留了下来。最右边一栏,上面那张图将脸颊恢复了出来,下面那张图则是侧面看不见额头,但 TP-GAN 成功地将额头恢复了出来。

为了忠实地保留一个人脸部最突出的特征,作者在压缩特征空间中除了像素级别的L1 loss,还使用了一个感知损失(perceptual loss)。

最后,关键一环,将身份保留损失(identity preserving loss)整合进来,实现忠实的正面脸部合成,图像质量得到大幅提升。

TP-GAN 根据不同姿势合成的结果。从左到右:90°、75°、45°、60°、30°和 15°。最后一栏是真实相片。

使用单一脸部图像合成逼真的正面脸部视图在人脸识别领域中有着广泛的应用。尽管此前有研究试图从大量面部数据中寻求解决方案,也即数据驱动的深度学习方法,但这个问题仍然具有挑战性,因为它本质上是个不合理的问题(ill-posed)。

相关文章

  • 基于TP-GAN的侧脸人像恢复 

    中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧...

  • 侧脸

    康颂蜜丹系列浅蓝色色粉纸8K 思比乐色粉铅笔 以下内容无需付费就能看到 6

  • 侧脸

    深深浅浅,聚也散也 那片秋天的落叶 挥手与你道别 转眼已是三个季节 那天起风了 回头转身泪流满面的道歉 故事的碎片...

  • 侧脸

    我坐在了你的旁边,你略略低头,眼睛低垂,认真专注地看着屏幕,完全没有注意到我。我借着翻书的空隙,偷偷地打量...

  • 侧脸

    一笔一画 都是你的侧脸

  • 侧脸

    布满星光的操场上,简菲还在一圈一圈的走着。仿佛走过很多很多个日日夜夜,很多个没有他陪伴的日日夜夜。 星光、操场、少...

  • 侧脸

    雪花一片一片睡入湖面 纯白色的回忆漫步窗前 你嫣然一笑 醉了我几夜 望孤亭寒桥伏写着思念 沉默后的寂寞退后再现 古...

  • 侧脸

    秋天里的落叶 挥手同树道别 关于你的一切 我都想要了解 陪伴三个季节 还是承受决裂 最后一句感谢 还有多余的抱歉 ...

  • 侧脸

  • 侧脸

    开口发声 专注而美丽 像极一朵冷艳的玫瑰 绽放眼角的泪水 侧脸是种吗啡 越陷越沉 越沉越醉 呼吸随音调急促 画面却...

网友评论

    本文标题:基于TP-GAN的侧脸人像恢复 

    本文链接:https://www.haomeiwen.com/subject/cjhsmxtx.html