R-CNN是Ross Girshick在论文《Rich feature hierarchies for accurate object detection and semantic segmentation 》中提出的一种将CNN用于目标检测（object detection）并取得显效果的新算法。该算法一经问世，变得到广泛关注，并迅速发展出Fast R-CNN, Faster R-CNN, Mask R-CNN等一系列相关算法。
R-CNN解决了Object detection两个关键问题：
- 速度！经典的目标检测算法使用滑动窗法依次判断所有可能的区域。R-CNN用Selective search算法从图片中提取2000多个候选Region，之后仅在这些Region上提取特征，进行判断。
- 数据集太少！论文使用了两个数据集：
a. ImageNet ILSVC 2012 每张图片都是特定类别。1000个类别。图片数量巨大，但图片内容简单，一张图片只有一个物体。 使用这个数据集预训练一个CNN分类器。
b. PASCAL VOC 20102012， 该数据集标注了20种不同的物体类别和位置。如：人，交通工具，动物，家具等。该数据集的特色是接近现实世界的场景， 每张图片有多个物体，不过数据量比较少。
● R-CNN的网络结构
R-CNN网络结构
R-CNN训练步骤
- 使用Selective search算法从图片中提取2000多个候选Region（将在后面的论文笔记中介绍Selective search提取算法）。提取的Region大小，长宽比例都不一样；但CNN的输入的图片必须大小固定的。因而，在交给CNN处理之前需要调整各个Region大小；论文中的处理方法是简单粗暴地把Region缩放或拉伸到227 * 227像素。
a. 注： warp前，先把Region原始边框向外扩16像素。类似于增加16像素内边距。 - 将处理后的Region丢给CNN训练，每个Region将提取出一个4096维的特征向量。CNN的架构跟Krizhevsky提供的一样, 5个卷积层，2个fc层（将在后面的论文笔记详细介绍Krizhevsky的CNN在图片分类中的应用）。
- 论文为PASCAL VOC 的每个类别都训练一个SVM。将CNN输出的每个Region的特征向量，输入给每个类别的SVM处理打分，得分最高的类别作为这Region的类别。
a. non-maximum suppression过滤Region， 对任意两个Region，如果他们的IoU（intersection-over-union)大于某个阈值（比如：0.5），则删除得分比较低的Region，保留得分高的Region。
b. 最后保留得分最高K个Region作为输出
● R-CNN训练的要点
1. 使用ILSVRC 2012的数据预先训练CNN， 该CNN是用于图片识别，最后输出的是一个1000维数组，代表输入图片属于各个类别的概率。将CNN用于object detection时要稍作修改，最后输出层需要改为输出N+1（N为类别的数目，此处为20，1是加一个背景)
2. 然后用PASCAL VOC 2012数据进行微调fine-tuning： We treat all region proposals with 0.5 IoU over- lap with a ground-truth box as positives for that box’s class and the rest as negatives 。在每次训练迭代中都使用32个正样本（包括所有类别）和96个背景样本组成的128张图片的batch进行训练（这么做的主要原因还是正样本图片太少了）
3. SVM的训练：对每个类都训练一个线性的SVM分类器，训练SVM的正样本就是ground-truth框中的图像，完全不包含的region proposal应该是负样本。但是对于部分包含某一类物体的region proposal使用IoU阈值的方法，这次的阈值为0.3，计算每一个region proposal与标准框的IoU，小于0.3的作为负样本，其他的全都丢弃。
● R-CNN的不足之处
1. 速度比较慢，很多重复的卷积计算
2. 网络的各部分需要分开训练，不能同时训练
3. Proposal Region需要拉伸归一化到统一尺寸，会导致物体变形影响准确率
网友评论