一 DeepFace(CVPR2014)

《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》

1. 提出一个3D人脸对齐的方法。
2. 提出一个采用深度网络得到人脸特征的方法，深度学习人脸识别开山之作。

二 DeepID1(CVPR2014)

《Deep Learning Face Representation from Predicting 10,000 Classes》

1. 增加深度模型分类类别数目能有效提升模型性能。
2. 用于人脸识别的特征必须是分类之间的DeepID，不能用softmax layer的输出。
3. 训练数据越多，采用的patches越多，模型性能越好。
4. 由于提出的网络结构最后一个卷积层非常小（1*2的feature map），所以最终全联接层（DeepID）同时连接到最后一个卷积层和它前面的卷积层。

三 DeepID2(NIPS 2014)

《Deep Learning Face Representation by Joint Identification-Verification》

1. face identification任务拉开类间的距离，face verification任务减小类内距离。
2. 当face identification任务权重为1， face verification任务权重为0.05时效果最好。

四 DeepID2+(CVPR2015)

《Deeply learned face representations are sparse, selective, and robust》

1. 增加特征的维度。
2. 对前面的卷积层添加监督信息。
3. 神经元激活值的稀疏性：每个图像大约有一半神经元被激活；每个神经元大约有一半图像会使其激活。
4. 神经元激活值二值化：精度降低不大，说明神经元是否被激活比神经元具体数值更为重要。
5. 神经元的判别力：DeepID2+特征具有身份和属性判别力。
6. 特征鲁棒性：高维全局特征具有良好的遮挡鲁棒性。

五 DeepID3(2015)

《DeepID3: Face Recognition with Very Deep Neural Networks》

1. 基于VGG和GoogLeNet提出两种更深的人脸识别网络。

六 triplet loss(CVPR2015)

《FaceNet: A Unified Embedding for Face Recognition and Clustering》

1. 提出triplet loss：（alpha是margin，文中设为0.2）
   
2. 选择所有triplets进行训练收敛太慢，所以应该选择hard triplets。在线生成triplets的时候（在一个mini-batch中），为了得到更好的正样本对，需要保证每个mini-batch中，每个id均包含一定数量（比如40）的图片。选择正样本对的时候采用全配对的方式（负样本还是选择hard negtives），而不是只选择hard positive pairs，虽然没对两种选择方式进行比较，但是实践中发现全配对更稳定，在开始训练的时候收敛稍快。如果选择hardest negatives会导致在训练初期就陷入局部极小值，为了避免该问题，可以选择与anchor距离大于“正例与anchor距离”的hard negatives（semi-hard），而不是hardest negatives。

七 center loss(ECCV2016)

《A Discriminative Feature Learning Approach for Deep Face Recognition》

1. 以softmax loss学到的特征是可分的，但是依然有显著的类内变化，所以不够具有辨别力。
2. center loss:
   
3. 如何更新center：基于mini-batch在每一个iteration中计算某类别对应所有特征的均值作为该类中心。同时为了避免噪声数据，使用一个标量控制类中心的学习率。
4. 试验参数：center loss权重=0.003，控制类中心学习率的标量=0.5。