1. 论文相关
1.1发表期刊和时间：2017PAMI
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 40, NO. 11, NOVEMBER 2018
2. 摘要
面部属性预测在视频监控，人脸检索和社会媒体中具有许多有潜力的应用。而对于目前许多已经提出的用于面部属性预测的方法中，其中大多数没有明确地考虑属性的相关性和在特征表示学习期间的异质性（heterogeneity）（例如，序数与名词和整体与局部）。在本文中，我们提出深度多任务学习（Deep Multi-Task Learning，DMTL）方法，在单个人脸图像上联合估计多个异构属性。在DMTL中，我们使用由共享特征组成的卷积神经网络（CNN）来学习所有属性，去处理属性相关性和异构性，以及针对异构属性进行类别特定的特征学习。我们还引入了一个通过众包获得的不受约束的人脸数据库（LFW +），它是公共领域数据集LFW的一个扩展，具有异构的人口统计属性（年龄，性别和种族）。在多个人脸属性基准测试数据集（MORPH II，LFW +，CelebA，LFWA和FotW）的实验结果表明，与现有最先进的技术相比，我们所提出的方法具有优越的性能。最后，在一个公共领域的人脸数据库（LAP）上用单个属性进行的评估结果表明：我们所提出的方法具有出色的泛化能力。
2.2 主要贡献
（i）一个用于联合预测大量的人脸属性的有效率的多任务学习（MTL）方法;
（ii）在一个单一的网络对属性相关性和属性异质性两者进行建模;
（iii）研究提出的方法在跨数据库测试场景下的泛化能力;
（iii）通过众包使用人脸图像数据集（LFW）编制LFW +数据库，和异构的人口统计属性（年龄，性别和种族）。
2.3 对关于多面部属性联合估计的最新文献的一个简要回顾
涵盖特征表示，预测模型，数据库，和性能表现。
2.4 CelebA数据集上属性与属性两两之间的关系
Deep Learning Face Attributes in the Wild
40个人脸属性的成对共现矩阵
3.主要思想
3.1之前方法的不足
（1）考虑到了不同属性之间可能存在一定联系，但是却可能造成属性间不同排列组合数量的爆炸式增长造成学习效率较低；
（2）没有考虑到不同类型属性的相关性和异构性 (e.g., ordinal vs. nominal and holistic vs. local)
（3）不是端对端的学习方法
3.2 属性关系分析
image.png
上图展示了人脸属性的相关性以及多样性，单个属性可以是多样的（根据数据类型或者数据量，以及语义等），单个属性之间也存在着较大的联系。
本文的目标是，用一个联合的预测模型，同时预测多个人脸属性。
4. 主要方法
4.1 传统的多任务模型损失函数
image.png
考虑到（1）中的目标函数，一个简单的方法是并行学习多个CNN，每个属性一个。这种方法并不理想，因为个体人脸属性估计任务可能具有一些共同的特征。
4.2 为了分析特征，文章提出的目标函数：
image.png
其中控制人脸属性之间的特征共享，
控制每个人脸属性的共享特征的更新。具体来说，如图2所示，人脸图像首先通过由复杂非线性映射级联组成的共享深度网络（
）映射成一个高层次的表示，然后由浅子网络
对单个属性预测任务进行细化。（2）中的公式使探索属性相关性和学习各种属性共享的紧凑表示成为可能。
4.3 解决异质性
上述DMTL公式虽然在特征学习中利用了属性相关性，但仍然需要考虑属性异质性。个体人脸属性的异质性一直存在，但尚未得到足够的重视。原因有两方面：（1）许多公众领域人脸数据库的标签是单一属性的，设计相应的模型的要求就变得没有了。（2）许多已发布的方法选择为每个人脸属性学习单独的模型；单个属性的模型学习不面临属性异质性问题。
文章分别处理每个异构属性类别，但是每个类别中的属性在很大程度上共享特征学习和分类模型。为此，将（2）中的目标函数重写为：
image.png
其中，是异质属性类别的个数，
是每个属性类别中属性的数量，
平衡每个属性类别的重要性(默认为1)，
可以调节每个异质性属性类别的共享特性。
是每个异类属性类别的一个规定损失函数，
产生估计值，相应的真实值是
。
4.4 属性异质性分类
将大量属性分组为几个异构类别取决于先验知识。在这里，我们从数据类型和规模（即序数与名词）以及语义意义（即整体与局部）考虑人脸属性的异质性，并解释我们针对这些异质属性类别的类别特异性建模。
4.4.1 名词属性与序数属性
名词属性有两个或两个以上的类（值），但类别之间没有内在的顺序。例如，race是一个具有多个类的名词属性，例如black、white、asian等，并且这些值（类）没有内在的顺序。我们在分类方案中处理名词属性，并选择使用交叉熵损失：
image.png
作者采用分类的方式对名词属性进行处理，采用回归的方式处理连续性数值型属性，用欧氏距离度量损失：
image.png
4.4.1 全局属性与局部属性
年龄、性别、种族等属性描述了整个面部的特征，而尖鼻子、大嘴唇等属性则主要描述了局部面部成分的特征。因此，用于估计整体属性和局部属性的最佳特征可能不同。这种语义上的属性异质性也可以通过所提出的DMTL进行建模，例如，使用多个整体属性子网络和多个单分量属性子网络。整体属性和局部属性可以进一步由名义和序数类别组成。
因此，联合考虑名词与序数以及全局与局部异构性导致了四种类型的子网络：整体名词、整体序数、局部名词和局部序数。对于每种类型的子网，损失函数的选择仍然取决于子网络是名词属性的还是有序属性的。
4.5提出的网络结构
image.png
5.优缺点
5.1 优点
（1）属性分类能共享特征学习阶段的权值；
（2）根据属性划分，使用相应的损失函数；
（3）特征学习的CNN框架简单；
（4）理论描述严密。
5.2 缺点
（1）正由于其使用简单结构CNN，虽使速度有提升，但属性分类准确率还不太高；
（2）组合不同损失函数还未优化
参考资料
[1] 人脸属性多任务学习：Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
[2] 论文笔记之：Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
[3] 人脸属性——多任务 用处不大
论文
[1] Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
网友评论