效果图
文章：https://arxiv.org/abs/1912.08193
FAIR的工作，用于改善实例分割以及语义分割的边缘分割结果。分割网络通常都输出比原图小很多的预测结果，然后将预测结果插值回原图大小，由此导致边缘通常不太准确。本文提出，在逐级上采样过程中，采样边缘不确定的点，然后设计若干层PointHead单独对这些点重新预测（如图1），这样既可以优化边缘，也可以减少计算。通过可视化分割结果，边缘确实好了很多。
Fig1
PointRend是可以接在各种分割网络后的，如图2，网络结构也比较清晰明了，就是对一些不确定的点重新采样，将这些点从backbbone中提出的特征，拼上coarse prediction，即低分辨率预测结果（如果是语义分割就是K维，K为类别数），用MLP对这些点重新预测类别。采用coarse prediction的原因是这些特征具有比较大的视野域。
Fig2
关于一些细节问题，首先是不确定性的计算，就是用top2的置信度减去top1的置信度；不确定点的采样，在inference时按顺序采样最多N=28*28个，training时这么采样比较影响训练，所以采取随机采样+顺序采样的策略，先随机采kN个点，然后从kN个点中按不确定性由高到低采样betaN的点，剩下（1-beta）N个点再随机选。
总体来说，文章提出的做法很直观，普通分割，特别是基于MaskRCNN的实例分割，对于边缘的预测确实不够准确，利用网络重分类边界不准确的值，可以改善这一现象。另一方面，文章的写法很牛皮，不直接说改善边界，而是从渲染的角度来写，我们是从图像学这边借鉴过来的balabala，整的非常高大上，也是值得学习一下。
网友评论