导读
本文是旷视科技和清华大学的联合作品。论文针对two-stage的目标检测框架中，回归坐标和分类的子网络进行优化，主要结合Faster RCNN和RFCN两个网络有点，同时提出自己的改进，最终在Accuracy和Speed上都取得了state-of-the-art的表现。
1.Introduction
一般来说Two-Stage的检测框架，第一步是产生足够多的候选框，作者称之为Body；第二步是对候选框进行识别，作者称为Head，像大脑做出判断。通常，想要取得最好的准确率，Head的设计一般比较Heavy，就是计算量参数较多，计算量比较大。作者发现，像Faster RCNN和R-FCN都有共同点，就是一个非常Heavy的Head接到主体框架上。Faster RCNN就接了两个全连接层在ResNet 的第5个Stage后面。并且，ROI Pooling后的特征非常大，所以第一个全连接层非常耗内存，并且影响速度。并且，每个Region Proposal都要经过两个全连接层，计算量非常大。而在R-FCN中，虽然少了两个全连接层，但是，需要构建一个Classes×p×p大小的Score Map，也是需要非常大的内存和计算量。所以本文结合两者优点，提出一些改进，主要如下两点：
- 使用Large-Kernel Seperable Convolution来产生一个“Thin”的Score Map，Score Map只有a×p×p通道。在论文中，作者用了a=10。
- 在ROI Pooling后接上一个全连接层。为什么要接上这个全连接层呢？因为原来的R-FCN的Score Map是Classes×p×p通道，正好对应Classes的预测，现在没有这么多个通道了，没办法用原来的投票方法了，所以接上一个全连接层也是为了后面能够接上Faster RCNN的回归和分类。
2.Related works
这个没啥好说的，就是大体说了下目标检测的近况。挺全面的。
3.Our Approach
桥黑板！划重点！
事实上，论文的一张彩图已经说明了一切。好像已经不用费口舌去解释。
网络对比2
不过，作者还是做了些解释。
从Accuracy角度来看，Faster R-CNN为了减少第一层全连接层的计算量，引入global average pooling，虽然对ROI的分类有好处，但是损失了空间信息，对目标回归不好。而R-FCN直接对position-sensetive pooling后的结果进行Pooling，没有ROI-Wise层，所以效果没有Faster RCNN好。
从速度来看，Faster RCNN的每个Roi都要经过R-CNN子网络（R-CNN subnet），见图，所以计算量非常大。R-FCN虽然R-CNN subnet很小，但是他要生成一个非常大的Score Map，整个网络依然很消耗时间和内存。
3.2Light-Head R-CNN
文章使用“L”表示用一个大的主体网络，用“S”表示用一个小的主体网络。
Basic feature extractor
对于“L”网络，文章使用ResNet101作为基础的特征提取网络，对于“S”，文章使用类似于Xception的小网络。上面图中的“conv layes”表示基础网络。“S” 网络如下表格。
S网络
Thin feature maps
作者使用large separable convolution，接在基础网络的C5上。如下所示，k=15,对于S网络，Cmid=64，对于L网络，Cmid=256。Cout=10×p×p。
large separable convolution
R-CCN subnet
这里作者接了一个2048通道的全连接层，没有使用dropout。
RPN
RPN使用C4层的特征。ratios 取{1:2， 2:1}并且有五个scales {32 , 64 , 128 , 256 , 512 }。NMS阈值取0.7.
4.Experiments
作者在COCO数据集上做实验，训练集115K，测试集5K。当然还有些细节，OHEM，data augment之类不扯了。
4.2.1Baselines
B1：是R-FCN，直接用R-FCN跑出来的结果。
B2：也是R-FCN，不过做了些改进，
1.图片resize成最短边800，最长边1200,5个anchors {32 , 64 , 128 , 256 , 512 }
2.对位置回归的loss比分类的小，所以训练时，对回归的loss进行了double
3.训练时将box的loss排序，将loss表较大的前256个box作为反向传播的loss。并且训练时每张图像用了2000个ROIs，测试时用1000个Rois。这样mmAP提高了3个点。事实上我不太确定这个mmAP是啥意思。文章说，“We use mmAP to indicate results of mAP@[0.5:0.95]”难道是说对PR曲线积分时，积分范围是0.5-0.95？有懂得请在下方评论，让咱们学习学习。
Baseline
4.2.2Thin Feature maps for RoI warping
这里作者想对比，Thin Feature会带来什么影响。作者设计了对比试验。网络如下图。
- 输出的Feature maps的通道数减少为490(1077）
- 由于修改了输出Feature map的通道数，所以R-FCN不能通过投票的方式进行预测，所以作者加了一个全连接层。（这里，其实我是有点不明白的。看这里的描述，下图如果和上面的网络对比图2是一样的话，那么后面4.2.3的对比试验R-CNN subnet是什么？4.2.3节改进了什么。）
reduce Feature map
可以看到，这样修改后，效果略微下降了。作者指出如果将PSROI Pooling改为ROI Pooling会获得0.3的增益。但是计算量增加了49倍。
large separable convolution
上一步中使用的是普通的1*1的卷积，这里作者改用large separable convolution，k = 15, Cmid = 256, Cout = 490。这样子，相比B2提升了0.7个点。
large separable
4.2.3 RCNN subnet
文中提到的Figure3呢？并没有看到，这里应该有错误。文章这里再次提到加入一个额外的全连接层。（我就奇怪了，上面一节在说thin featrue的时候不是加了吗？）
然后这里效果突然就飞起来了。我表示很困惑。
R-CNN subnet
4.3 Light-Head R-CNN: High Accuracy
这一节作者提到一些技巧。比如PSROI Pooling换成 RoIAlign ，多尺度训练，NMS的阈值改为0.5之类。
技巧
当然，因为Thin Feature，就有可能使用FPN了。下面对比了和其他one stage和two stage的方法。都是state-of-the-art。
image.png
4.4 Light-Head R-CNN: High Accuracy
然后是对比速度。
- 使用上面提到的S网络。
- 将RPN网络的卷积改成原来的Faster RCNN的一般，256.
- 使用large separable convolution其中kernel size = 15, C mid = 64, C out = 490 (10 × 7 × 7)
-
使用PSPooling with alignment
然后结果如下，完虐一切one stage和two stage的方法。YOLO，SSD不在话下。好厉害的样子。
速度对比
整体上感觉还不错，虽然有些不太明白的地方。论文的写作不是很好，有些地方的表达可能有错。
好了，今天的Paper Share分享到这里。下次会分享上面的提到的R-FCN，1605.06409-R-FCN: Object Detection via Region-based Fully Convolutional Networks。敬请期待哦。
------少侠阿朱 2017.11.30 于深圳。
网友评论
这里有2个疑问：
1.为什么是2048？？在R-FCN中，对于COCO数据集，经过PSRiOPooling之后，得到81维特征（特征图大小7*7），然后经过一个Pooling（average形式），得到81维特征（特征图大小1*1），这就对应81类的得分，这个好理解。
在本文中，经过PSRiOPooling之后，得到10维特征（特征图大小应该还是7*7吧），我理解的是经过一个81 channels的FC layer，10维特征变成81维不就行了，为什么这里是2048？？
2.最后的2个层为什么是还是FC layer？？在R-FCN中，最后就是通过投票机制，就是2个average pooling分别得到分类和回归结果。这里不采用这种机制了吗？换成FC layer了？？
thin featrue是在rfcn上直接改的feature，后面没动，rfcn本身没有隐层fc，只有在最后分类和loc时有个fc(或者1*1conv)，这里为了提升精度，又加了个隐层fc，因为前面是thin feature加个隐层fc也不是很耗时