3.2.4 Feature Pyramid Networkd(FPN)

FPN要解决的一个痛点是：检测不同尺度的目标（尤其是小目标）是很困难的。，其目的是实现多个尺度的anchor输入到同一个特征提取CNN中，得到相同大小的输出特征图。

主要的思想是图像金字塔。

图1 左：图像金字塔；右：特征金字塔

1) 数据流

图2 FPN

FPN两个路径：

• 自底向上（bottom-up）。空间分辨率变小，语义增强；
• 自顶向下（top-down）。空间分辨率变大，语义减弱。

图3 FPN自底向上

结合底层分辨率高，高层分辨率低、语义高的特点，文章介绍了SSD(Single Shot MultiBox Detector)的小目标检测效果比较差的原因。所利用的特征图如图4所示。

图4 SSD结构

FPN提供了自顶向下的路径，基于语义较丰富的层从上向下来构建分辨率较高的层。如下图所示。

图5 FPN自顶向下的路径(不含skip connection)

上面的方法会导致目标位置不准确，因此仿照ResNet的shortcut思想，增加了跳跃连接（skip connection）。

2) 自底向上

图6 增加skip connection

如上图左边虚线框所示为自底向上。每个卷积层减小特征图尺寸。

3) 自顶向下
如上图右边虚线框所示为自顶向下。每个卷积层增加特征图尺寸和同样大小特征图相加。

这种方法的优点是即充分利用了高层语义信息，又提高了图像分辨率，可用于实现：

• RPN
• Faster R-CNN的分类和bbox回归

4) FPN用于RPN

图7 FPN用于RPN

FPN得到由卷积得到一系列的特征（P2、P3、P4和P5等）。根据这些特征分别有的卷积运算得到用于分类的bbox回归的结果。其实如果这里做的很好，还要用Fast R-CNN做分类干嘛，这就是one-stage检测算法了。

后面如果有时间，我会介绍下yolo系列和ssd系列的典型算法。

5) FPN用于Faster R-CNN

图8 Fast R-CNN

Fast R-CNN的步骤：

• S1 ：输入一张图片；
• S2：使用backbone卷积网络，得到一组特征；
• S3：使用Region Proposal，选出候选区域；
• S4：根据候选区域位置，选择特征映射中候选区域对应位置的特征；
• S5：使用ROI pooling将这些区域转换为相同尺寸的特征图；
• S6：使用相同大小的特征图，来进行分类和bbox回归。

图9 Faster R-CNN

Faster R-CNN的步骤（对比与Fast R-CNN的不同）：

• S1：FPN提取特征（Faster R-CNN产生多个特征图，Fast R-CNN产生一个特征图）；
• S2：使用RPN来选出候选区域；
• S3：根据候选区域，来从一组特征中选择对应位置的特征区域（Faster R-CNN采用的原则是候选区域越大，就选择越高层的特征映射，具体计算公式为）。
• S4：使用ROI pooling将这些区域转换为相同尺寸的特征图；
• S5：使用相同大小的特征图，来进行分类和bbox回归。

6) 实验结果

图10 实验结果比对