人脸识别中的常见softmax函数总结（A-Softmax,AM

作者: 昭君姐 | 来源:发表于2019-06-21 00:31 被阅读59次

人脸识别中的常见softmax函数总结（A-Softmax,AM
112. 【论文理解】Partial FC: Training
人脸识别的实现
人脸识别中的损失函数
人脸识别技术如何应用于工厂、企业、单位
logistic函数和softmax函数
卷积神经网络-第四周-吴恩达 Deep Learning Spe
softmax函数的求导学习
一个模块解决人脸识别难题，python实现此功能只要二十行代码！
人脸识别Softmax算法的Loss的进展

本文整理、总结了常见softmax（如A-Softmax,AM-Softmax,ArcFace）的公式、论文出处等。
先总结几个重要的点：

L-Softmax 提出了angular margin的概念，重新思考 $w*x$ ，引入cos角，认为各类之间的夹角需要有个margin。
A-Softmax将weight归一化，使得特征上的点映射到单位超球面上。
AM-Softmax将角度上的倍数关系改为cos值的比较。
Arcface将margin由cos值改为 $\theta$ 值的比较。（和AM-Softmax比较下，两者的m前面的符号是不同的）

Name	Loss公式	权重/特征归一	论文
softmax	$\frac{1}{N}\sum_i-log\frac{e^{w_{y_i}·x_i}}{\sum_ke^{w_k·x_i}}$	N/N
NormFace	同softmax	Y/Y	arxiv ACMMM 2017
L softmax	$\frac{1}{N}\sum_i-log\frac{e^{\|\|w_{y_i}\|\|·\|\|x_i\|\|·cos(m·\theta_{y_i, i})}}{e^{\|\|w_{y_i}\|\|·\|\|x_i\|\|·cos(m·\theta_{y_i, i})} + \sum_{k \neq y_i}e^{\|\|w_k\|\|·\|\|x_i\|\|·cos\theta_{k, i}}}$ 首次提出angular margin	N/N	arxiv ICML 2016
A softmax	$\frac{1}{N}\sum_i-log\frac{e^{\|\|x_i\|\|·cos(m·\theta_{y_i, i})}}{e^{\|\|x_i\|\|·cos(m·\theta_{y_i, i})} + \sum_{k \neq y_i}e^{\|\|x_i\|\|·cos\theta_{k, i}}}$ 增加weight norm	Y/N	arxiv CVPR 2017
AM softmax	$\frac{1}{N}\sum_i-log\frac{e^{s·(cos(\theta_{y_i, i})-m)}}{e^{s·(cos(\theta_{y_i, i})-m)} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}}$ 增加feat norm和scale，margin由乘法变为加法	Y/Y	arxiv ICLRw 2018
CosFace	同AM-Softmax，和AM-Softmax接近同时发布	Y/Y	arxiv CVPR 2018
ArcFace	$\frac{1}{N}\sum_i-log\frac{e^{s·cos(\theta_{y_i, i}+m)}}{e^{s·cos(\theta_{y_i, i}+m)} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}}$ 类似AM softmax，将margin由cos外移到内	Y/Y	arxiv CVPR 2019
Adaptive Face	$\frac{1}{N}\sum_i-log\frac{e^{s·(cos(\theta_{y_i, i})-m_{y_i})}}{e^{s·(cos(\theta_{y_i, i})-m_{y_i})} + \sum_{k \neq y_i}e^{cos\theta_{k, i}}} - \lambda\frac{1}{K}\sum_km_k$ 将margin参数化，与类别相关	Y/Y	pdf CVPR 2019

todo Decision Boundary

人脸识别中的常见softmax函数总结（A-Softmax,AM
本文整理、总结了常见softmax（如A-Softmax,AM-Softmax,ArcFace）的公式、论文出处等...
112. 【论文理解】Partial FC: Training
之前的方法主要基于softmax损失函数的改进，但训练大量人脸比较困难。softmax损失中的负类在人脸表示中的重...
人脸识别的实现
前言在人脸识别的文章中，已经学习了关于人脸识别的一些方法和损失函数，在本篇文章中，将会利用faceNet和Dee...
人脸识别中的损失函数
人脸识别任务可以分为识别和核实两种。其中识别任务可以看作是一种分类任务，输入图片，输出人物身份类别；核实任务则是输...
人脸识别技术如何应用于工厂、企业、单位
人脸识别技术应用于工厂、企业、单位最常见的是考勤、门禁、闸机。人脸识别是通过抓拍人脸与预先录入的人脸库进行比对验...
logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大...
卷积神经网络-第四周-吴恩达 Deep Learning Spe
人脸识别（Face recognization）人脸识别和人脸验证（Face verification）在本课中...
softmax函数的求导学习
今天学习了softmax函数的求导，和其他函数求导不同，softmax函数中的参数不是常量，而是向量。对于陌生的...
一个模块解决人脸识别难题，python实现此功能只要二十行代码！
一个Python的一个开元函数库face_recognition实现简单的人脸识别。 0×01 正文人脸识别主要...
人脸识别Softmax算法的Loss的进展
最近，人脸识别研究领域的一个主要进展集中在Softmax Loss的改进上; 主要的改进方法 - 做归一化以及增加...