人脸识别——margin来龙去脉

作者: xiaowang627 | 来源:发表于2020-05-25 23:27 被阅读0次

人脸识别——margin来龙去脉
人脸识别技术通识
都在说人脸识别有Bug，是真的吗？
2020-06-09
人脸识别闸机安装知识
2020-07-28
人脸识别 -- 活体检测(张嘴摇头识别)
facexx解析：人脸识别技术市场在哪些领域？
Android实现人脸识别（人脸检测）初识
h

一 L-Softmax(ICML2016)

1. 前置工作：softmax, contrasive loss, tripliet loss,

2. Preliminaries

$L_S=-\frac{1}{M} \sum_{i=1}^Mlog\frac{e^{W_{y_i}^Tf(x_i)+b_{y_i}}}{\sum_{j=1}^Ce^{W_j^Tf(x_i)+b_j} }$ $=-\frac{1}{M} \sum_{i=1}^Mlog\frac{e^{\left\|W_{y_i}^T\right\| \left\|f(x_i)\right\|cos(\theta _{y_i,i}) +b_{y_i}}}{\sum_{j=1}^Ce^{\left\|W_j^T\right\|\left\|f(x_i)\right\|cos(\theta _{j,i})+b_j} }$

其中 $\theta _{j,i}$ 是向量 $W_j$ 和 $x_i$ 之间的夹角，去除偏置项之后，精度几乎保持不变，所以一般可将偏置项去除。

3. Intuition

考虑二分类问题，为了将样本 $x_1$ 正确分类到类别1，原始的softmax是让 $\left\|W_1^T\right\| \left\|f(x_1)\right\|cos(\theta _{1,1}) >\left\|W_2^T\right\| \left\|f(x_1)\right\|cos(\theta _{2,1})$

为了让分类更严格，在 $\theta _{1,1}$ 上乘以一个margin，由于cos函数在0到 $\pi$ 上单调递减，所以：

$\left\|W_1^T\right\| \left\|f(x_1)\right\|cos(\theta _{1,1}) >=\left\|W_1^T\right\| \left\|f(x_1)\right\|cos(m\theta _{1,1}) >\left\|W_2^T\right\| \left\|f(x_1)\right\|cos(\theta _{2,1})$

新的分类准则在训练过程会更强烈的要求将 $x_1$ 分类到类别1，于是会产生更加严格的分类边界。

4. Definition

$L_l=-\frac{1}{M} \sum_{i=1}^Mlog\frac{e^{\left\|W_{y_i}^T\right\| \left\|f(x_i)\right\|\psi (\theta _{y_i,i}) }}{e^{\left\|W_{y_i}^T\right\| \left\|f(x_i)\right\|\psi (\theta _{y_i,i}) }+\sum_{j!=y_i}e^{\left\|W_j^T\right\|\left\|f(x_i)\right\|\psi (\theta _{j,i})} }$

$\psi (\theta ) =\left\{ \begin{array}{**lr**}cos(m\theta ) ,0\leq \theta\leq \frac{\pi}{m} & \\D(\theta ),\frac{\pi}{m} <\theta <\pi & \end{array} \right.$

m是个整数，表示margin，越大分类边界越分离，学习目标也越困难。paper中m=4时取得最好结果。

二 A-Softmax( CVPR2017 :SphereFace)

1. 前置工作：softmax, contrasive loss, tripliet loss, center loss, L-softmax（直观上看在其基础上归一化权重）.

2. 从softmax loss到modified softmax loss（从优化inner product到优化angles）：

其中 $\theta _{j,i}$ 是向量 $W_j$ 和 $x_i$ 之间的夹脚。归一化权重，并且将偏置置0，便可得到modified softmax loss:

$L_{modified}=-\frac{1}{M}\sum_{i=1}^Mlog\frac{e^{\left\|f(x_i)\right\|cos(\theta _{y_i,i}) }}{\sum_{j=1}^Ce^{\left\|f(x_i)\right\|cos(\theta _{j,i})} }$

该损失函数可以优化角度边界进而学习特征，但学习得到的特征依然没有很好的辨别性--->angular margin，强化特征的可辨别性。

3. 从modified softmax loss到A-Softmax soll （使分类边界更强，更可分）

$L_{ang}=-\frac{1}{M} \sum_{i=1}^Mlog\frac{e^{ \left\|f(x_i)\right\|\psi (\theta _{y_i,i}) }}{e^{ \left\|f(x_i)\right\|\psi (\theta _{y_i,i}) }+\sum_{j!=y_i}e^{\left\|f(x_i)\right\|\psi (\theta _{j,i})} }$

$\psi (\theta _{y_i,i})=(-1)^kcos(m\theta _{y_i,i})-2k$ ，paper中取m=4。

三 L2-Softmax(2017)

1. 前置工作：softmax, contrasive loss, tripliet loss, center loss。

2. Softmax的主要问题：（1）训练和测试过程相互解耦，用该损失函数不能保证在归一化的空间中正例对更接近，负例对更远离；（2）处理难样本和极限样本的能力弱，在一个质量不平衡的训练batch内，该函数通过增加简单样例特征的L2范数来小化。

3. 解决办法：迫使每个图片特征的L2范数为相同值，让特征分布在一个固定半径的球面。优点1：在球面上最小化softmax loss等价于最大化正样本对的cosine 相似度以及最小化负样本对的cosine相似度；优点2：由于所有人脸特征都有相同的L2范数，softmax loss能更好的处理难样本和极限样本。

4. L2-softmax定义： $\left\{ \begin{array}{**lr**}-\frac{1}{M}\sum_{i=1}^Mlog\frac{e^{W_{y_i}^Tf(x_i)+b_{y_i}}}{\sum_{j=1}^C e^{W_j^Tf(x_i)+b_j}} , & \\ \vert \vert f(x_i)\vert \vert_2=\alpha,\forall i=1,2,...,M & \end{array} \right.$

5. 新参数 $\alpha$ ：让该参数可学习的话，优化过程中会不断变大，导致失去了该参数的意义，更好的选择是将它设定为一个较小的固定值（实验验证了可学习的方法精度会略微降低）。但是如果该值太小，训练将很难收敛，因为一个半径很小的超球面表面积有限，以至不能很好的分开不同类的特征以及聚拢同一个类别的特征。——>类别数越多，该值应该越大。对于5w以下id，取32，5w以上实验32，40，64。

四 NormFace(2017)

1. 前置工作：softmax, contrasive loss, triplet loss, center loss。

1. 当损失函数是softmax loss时，为什么进行特征比对时要归一化特征？由于softmax loss倾向于产生一个放射状的特征分布，如果不对特征进行归一化，同一个类中两个样本的Euclidean距离往往会大于不同类中两个样本的距离。通过归一化，便可采用两个特征向量的cosine距离衡量相似度。注意，当全联接层存在偏置b时，一些类别的特征会分布在原点附近，归一化后，将会拉伸这些特征，以至于出现这些类别特征分布重叠的现象，所以在该工作中，去除了全联接层的偏置b。

2. 如果直接优化cosine相似度（归一化softmax loss前面的特征和权重w），为什么不会收敛？由于cosine相似度的取值为[-1,1]，这样小的range会阻止正确类别的预测概率接近1。对于不同的类别数目和归一化值，softmax loss会对应一个下限，如果把权重和特征归一化到1，该下限会比较大，如果将二者归一化到一个更大的值，该下限会持续降低。——> 在consine layer后添加scale layer：

$L_{S}=-\frac{1}{M}\sum_{i=1}^Mlog\frac{e^{s\tilde{W} _{y_i}^T \tilde{f_i} }}{\sum_{j=1}^Ce^{s\check{W}_j^T \tilde{f}_i } }$

3. 由于归一化后采用softmax loss会难以收敛，有没有其他的损失函数适合于归一化后的特征？agent strategy:

$L_{C} = \left\{ \begin{array}{**lr**}\vert\vert\tilde{f_i} -\tilde{w_j} \vert\vert_2^2 , c_i=j& \\ max(0,m-\vert \vert \tilde{f_i} -\tilde{w_j} \vert \vert_2^2) ,c_i!=j& \end{array} \right.$ ,C-contrasive，建议margin：1。

$L_T=max(0,m+\vert\vert\tilde{f_i} -\tilde{W_j}\vert\vert_2^2 -\vert\vert\tilde{f_i} -\tilde{W_k} \vert\vert_2^2)$ , C-triplet，建议margin：0.8。

$W_j$ 是第j个类别的summarizer。

4. 实验结论：有pretrain模型的前提下，归一化后采用softmax loss也能得到reasonably的结果，如果随机初始化，归一化权重会造成训练collapse，归一化特征will lead to a worse accuracy。当FAR较低的时候归一化技术会表现得更好。

5. 一个trick：采用加法融合图片的特征和mirror后的图片的特征，而不是concat。

五 AM-Softmax(2018)

1. 前置工作：softmax, L-softmax, A-softmax, contrasive loss，triplet loss。

2. 定义

$\psi (\theta )=cos\theta -m$ ，可得：

$L_{AMS}=-\frac{1}{M}\sum_{i=1}^Mlog\frac{e^{s(cos\theta_{y_i,i} -m)}}{e^{s(cos\theta_{y_i,i} -m)}+\sum_{j=1,j!=y_i}^Ce^{scos\theta _{j,i}} }$

让s可学习会收敛比较慢，所以固定s=30。

3. Angular Margin 还是 Cos Margin

Sphere face --- Angular Margin; AM-Softmax -- Cos Margin。Angular Margin在概念上更好，但是Cos Margin对于计算更友好，它能以较小的开销达到和Angular Margin相同的目的。

4. CosFace(CVPR2018)方法基本一致。

六 ArcFace(CVPR2019)

1. 定义

$L_{Arc}=-\frac{1}{M}\sum_{i=1}^Mlog\frac{e^{s(cos(\theta_{y_i,i} +m))}}{e^{s(cos(\theta_{y_i,i} +m))}+\sum_{j=1,j!=y_i}^Ce^{scos\theta _{j,i}} }$

2. 在ArcFace中加入Inter-loss，Intra-loss，Triplet-loss，并没有提升。

3. 训练得到的全联接层W没有通过模型计算出来的特征中心有代表性。

人脸识别——margin来龙去脉
一 L-Softmax(ICML2016) 1. 前置工作：softmax, contrasive loss, t...
人脸识别技术通识
人脸识别技术通识 1 人脸识别概要 2 人脸识别工作原理 3 人脸识别技术分类 4 人脸识别技术优缺点 5 人脸...
都在说人脸识别有Bug，是真的吗？
“人脸识别破解”“反人脸识别技术”“人脸识别漏洞”“人脸识别失误”“尽量不要用人脸识别”….网上N多这样的信息铺天...
2020-06-09
云卡通人脸识别系统含盖：动态人脸识别门禁管理系统、动态人脸识别消费系统、动态人脸识别考勤系统。其中动态人脸识别消费...
人脸识别闸机安装知识
随着人脸识别技术的成熟，人脸识别闸机越来越受欢迎，在选型上也丰富多样。人脸识别闸机包含人脸识别摆闸、人脸识别翼闸、...
2020-07-28
一、人脸识别系统具有广泛的应用:包括人脸识别出入管理系统、人脸识别门禁考勤系统、人面识别消费管理系统、人脸识别通道...
人脸识别 -- 活体检测(张嘴摇头识别)
一：简介最近项目在做了身份证银行卡识别之后，开始实现人脸识别和活体识别，其中人脸识别包括人脸入库、人脸查找、人脸...
facexx解析：人脸识别技术市场在哪些领域？
人脸识别技术经历了可见光图像人脸识别、三维图像人脸识别/热成像人脸识别、基于主动近红外图像的多光源人脸识别三层进化...
Android实现人脸识别（人脸检测）初识
title: Android实现人脸识别（人脸检测）初识categories: Androidtags: 人脸识别...
h
# 多人脸识别系统 [^]: by CathyZhang ## 背景 > 多人脸识别，又称为M：N人脸识别，主要用...