![](https://img.haomeiwen.com/i20148603/c2fabf98c86030c2.png)
Mask R-CNN算法的主要步骤为:
首先,将输入图片送入到特征提取网络得到特征图。
然后对特征图的每一个像素位置设定固定个数的ROI(也可以叫Anchor),然后将ROI区域送入RPN网络进行二分类(前景和背景)以及坐标回归,以获得精炼后的ROI区域。
对上个步骤中获得的ROI区域执行论文提出的ROIAlign操作,即先将原图和feature map的pixel对应起来,然后将feature map和固定的feature对应起来。
最后对这些ROI区域进行多类别分类,候选框回归和引入FCN生成Mask,完成分割任务。
![](https://img.haomeiwen.com/i20148603/9f5e547bec5af0ff.png)
Mask Scoring R-CNN主要工作:
(1)添加MaskIoU分支,将Mask head得到的预测Mask二值化,使用二值Mask与GT Mask之间的Mask IoU作为目标,利用L2损失回归这个目标,集成到整个网络进行端到端训练。
(2)将预测的Mask与分类分数相乘,得到新的校准Mask分数作为最终Mask置信度[图片上传失败...(image-134c7d-1583832155147)] ,使得分类分数与MaskIoU有更好的相关性。
网友评论