参考 https://blog.csdn.net/u011436429/article/details/80279536
注意:在ROI Pooling中下取整会损失空间对称性。与之相对,在ROI Align中双线性插值(BILinear)用于原图和feature map对应位置的缩放, 可保证空间对称性(Alignment)。
目标检测architecture通常可以分为两个阶段:
(1)region proposal:给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest(ROI),在这一过程中用到的方法是基于滑窗的方式和selective search。
(2)final classification:确定上一阶段的每个region proposal是否属于目标一类或者背景。
ROI pooling层能实现training和testing的显著加速,并提高检测accuracy。该层有两个输入:
- 从特征提取网络中获得固定大小的feature maps;
-
一个表示所有ROI的N*5的矩阵,其中N表示ROI的数目。第一列表示图像index,其余四列表示其余的左上角和右下角坐标。
ROI pooling具体操作如下:
(1)根据输入image,将ROI四个顶点的坐标映射到feature map对应位置;
(2)将映射后的区域划分为相同大小的sections(sections数量与输出的尺寸如7*7相同);
(3)对每个sections进行max pooling操作。
这样我们就可以从不同大小的方框(ROI)得到固定大小的相应的feature maps(ROI Pooling后输出的结果)。值得一提的是,输出的feature maps的大小不取决于ROI和feature maps的大小,而取决于输出维度的大小(如7×7)。ROI pooling 最大的好处就在于极大地提高了处理速度。
在ROI划分sections的时候,若边长为奇数,有的划分为相同大小而剩余部分忽略(如Caffe);有的划分为不同大小,分割点为边长除以2并下取整。
RoIPooling、RoIAlign笔记
参考(https://www.cnblogs.com/wangyong/p/8523814.html)
一)、RoIPooling
这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map
先贴出一张图,接着通过这图解释RoiPooling的工作原理
针对上图
1)Conv layers使用的是VGG16,feat_stride=32(即表示,经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25
2)假定原图中有一region proposal,大小为665*665,这样,映射到特征图中的大小:665/32=20.78,即20.78*20.78,如果你看过Caffe的Roi Pooling的C++源码,在计算的时候会进行取整操作,于是,进行所谓的第一次量化,即映射的特征图大小为20*20
3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图,所以,将上面在 feature map上映射的20*20的 region proposal划分成49个同等大小的小区域,每个小区域的大小20/7=2.86,即2.86*2.86,此时,进行第二次量化,故小区域大小变成2*2
4)每个2*2的小区域里,取出其中最大的像素值,作为这一个区域的‘代表’,这样,49个小区域就输出49个像素值,组成7*7大小的feature map
总结,所以,通过上面可以看出,经过两次量化,即将浮点数取整,原本在特征图上映射的20*20大小的region proposal,偏差成大小为14*14的,这样的像素偏差势必会对后层的回归定位产生影响
所以,产生了替代方案,RoiAlign
二)、RoIAlign
这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的
先贴出一张图,接着通过这图解释RoiAlign的工作原理
同样,针对上图,有着类似的映射:
1)Conv layers使用的是VGG16,feat_stride=32(即表示,经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25
2)假定原图中有一region proposal,大小为665*665,这样,映射到特征图中的大小:665/32=20.78,即20.78*20.78,此时,没有像RoiPooling那样就行取整操作,保留浮点数
3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图,所以,将在 feature map上映射的20.78*20.78的region proposal 划分成49个同等大小的小区域,每个小区域的大小20.78/7=2.97,即2.97*2.97
4)假定采样点数为4,即表示,对于每个2.97*2.97的小区域,平分四份,每一份取其中心点位置,而中心点位置的像素,采用双线性插值法进行计算,这样,就会得到四个点的像素值,如下图
上图中,四个红色叉叉‘×’的像素值是通过双线性插值算法计算得到的.
最后,取四个像素值中最大值作为这个小区域(即:2.97*2.97大小的区域)的像素值,如此类推,同样是49个小区域得到49个像素值,组成7*7大小的feature map
总结:知道了RoiPooling和RoiAlign实现原理,在以后的项目中可以根据实际情况进行方案的选择;对于检测图片中大目标物体时(VOC2007),两种方案的差别不大,而如果是图片中有较多小目标物体需要检测(COCO2017),则优先选择RoiAlign,更精准些.
网友评论