MTCNN

标题：Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
原文链接：https://kpzhang93.github.io/MTCNN_face_detection_alignment/

背景知识

1. 非极大值抑制：Non-Maximum Suppression, NMS
   参考：非极大值抑制（Non-Maximum Suppression，NMS）
   比如在下图中，假设5个框是人脸的概率由高到低排序为ABCDE。对于A，检查BCDE中是否有与A的IOU（交并比）＞阈值的（如BD，说明BD与A重复区域很多），那就删掉BD，A保留；继续对于C，重复上述步骤。最后留下的框就是NMS后的结果。 image
2. hard samples mining & online hard sample mining
   参考：hard sample mining在机器学习中是什么意思？
   Hard Example Mining 与 online Hard Example Mining
3. 交叉熵 cross entropy
   先看熵： 想象log₂p(x)的图像，p(x)↑ log₂p(x)↓，大概理解一下：对于每单位的p(x)，p(x)值越高，熵越小。这就与“概率越大，越有把握，越不紊乱，熵越小”的直观感受相符合。
   交叉熵： 可以看理解交叉熵作为损失函数在神经网络中的作用这篇博文理解一下。文中还提到交叉熵的另一种表达：[图片上传失败...(image-dda88d-1534404624410)]其中p(x)是期望输出，q(x)是实际输出。

Title & Abstract Understanding

face detection: 框出人脸区域
alignment: 点5个关键点
multi-task / joint: 指同时detection&alignment。找到二者内在联系，能提升性能
cascaded: P Net + R Net + O Net 级联

1 Introduction

1. Background

• face detection和alignment很重要
  在face recognition 和 facial expression analysis中都用得到
• 然而还面临一些问题
  遮挡 occlusion、姿势变化 large pose variations、光线 extreme lightning 等

2. Previous Works

• 关于detection
  级联结构√ + CNN×：效果不好
  级联结构× + CNN√：花时间太多
  级联结构√ + CNN√：bounding box校准需要多余的时间；忽视了detection和alignment之间的内在联系
• 关于alignment
  分两种：regression-based methods、template fitting approaches
• 有一些结合了detection和alignment的
  有的因为特征是手工标定的（？）而限制了效果；有的一开始画的框不好而限制了效果。
• hard samples mining & online hard sample mining
  应该弄个自适应的hard sample mining方法，根据训练情况自己调整，这样就不用手动操作了

3. In this paper

级联网络	复杂程度	干了什么
P Net	a shallow CNN	producing candidate windows
R Net	a more complex CNN	refining the windows by rejecting non-face windows
O Net	a more powerful CNN	refining the windows & outputting 5 landmark positions

2 Approach

1. 关于整体框架[图片上传失败...(image-fb56ff-1534404624410)]

• stage 1: Proposal Net，提供大量候选窗口，计算bounding box回归向量并用NMS减少窗口
• stage 2: Refining Net，拒绝一些非人脸窗口，计算bounding box回归向量并用NMS减少窗口
• stage 3: Outputting Net，输出脸上的5个地标点

2. 关于CNN内部结构
   主要考虑到2点：

• 1 卷积层中的filters缺乏多样性，会影响判别性能
• 2 第一句逻辑没看懂。把5x5的filters换成3x3，能减少计算量，并增加深度
• 再就是提了下卷积层和全连接层后用的非线性激活函数是PReLU

3. 关于训练
   训练中需要最小化的损失函数来自3方面：
   face/non-face classification + bounding box regression + facial landmark localization

• 1 face classification
  

  对于每个样本xi，计算交叉熵损失函数： 不过后面的(1 - log(pi))好像应该是log(1 - pi)。pi是网络预测的xi是人脸的概率；yi当然就是xi的标签了，0或1。那么这个交叉熵损失函数表达的就是“预测的是人脸的概率”与“事实到底是不是人脸”的接近程度，越接近，熵越小，损失越小。那么目标也就是min(Li)

• 2 bounding box regression
  

  对于每个样本xi，计算欧氏距离： y是(左上角x, 左上角y, 高度, 宽度)组成的四元组。第一个yi是预测的，第二个yi是真实的。预测的bounding box与真实的越接近，欧氏距离越小。目标是min(Li)

• 3 facial landmark localization
  

  对于每个样本xi，计算欧氏距离： y是(左眼x, y, 右眼x, y, 鼻子x, y, 左嘴角x, y, 右嘴角x, y)的十元组。第一个yi是预测的，第二个yi是真实的。预测的landmarks位置与真实的越接近，欧氏距离越小。目标是min(Li)
• 合起来就是：
• 还有个online hard sample mining 的点
  原文是这样写的：In particular, in each mini-batch, we sort the losses computed in the forward propagation from all samples and select the top 70% of them as hard samples. Then we only compute the gradients from these hard samples in the backward propagation. That means we ignore the easy samples that are less helpful to strengthen the detector during training.
  所以这个“hard”是指“难”，也就是把前向传播后损失最高的70%的样本（难分类的样本）做BP；剩下的已经跟答案很接近的30%（容易分类的样本）就不做BP了，因为认为这些样本即使做了BP，对网络参数的校正作用也不大。

3 Experiments

1. 对训练集的处理

用3个数据集：

• FDDB
• WIDER
• AFLW

数据集的标注有4类：
（在数据中占比为negative : positives : part faces : landmark faces = 3:1:1:2）

• 1 Negatives: IOU < 0.3
• 2 Positives: IOU > 0.65
• 3 Part faces: 0.4 < IOU < 0.65
• 4 Landmark faces: 标注5个landmark positions的人脸

每个任务用到不同的标注：

• face detection 用 negatives + positives
• bounding box regression 用 positives + part faces
• landmark localization 用 landmark faces

2. 衡量 online hard sample mining 的效果
   训练2个P Nets (with and without online hard sample mining)，并在FDDB上做对比：

   
   

3. 衡量 joint detection and alignment 的效果
   训练2个O Nets (joint facial landmarks regression learning and do not joint it)，P-Net and R-Net 相同，在FDDB上做对比。JA是joint alignment，BBR是bounding box regression

   
   

4. Evaluation on face detection

5. Evaluation on face alignment

   
   

6. Runtime efficiency