arXiv: https://arxiv.org/abs/1901.08043
github:https://github.com/xingyizhou/ExtremeNet
基于关键点的anchor free的方法。在COCO数据集上单尺度测试box MAP可达到40.3,多尺度测试可达到43.7。 Mask AP可达到34.6。
主要方法如下(如下图所示):
首先通过4副heatmap预测上下左右四个点(top-most, left-most, bottom-most, right-most),center heatmap预测中心点的位置。之后将上下左右四个图做融合,对四个点组合生成box并判断center位置是否在对用center heatmap上有较高score,从而确定四个点的组合方式。
整个模型使用hourglass作为特征提取网络。上边一行生成5×C×H×W的heatmap,C×H×W代表一种点(上,下,左,右,中心)。C为类别。COCO数据集中取80。
下边一行4×2×H×W的offest heatmap,代表上,下,左,右四类点的偏移量,作为辅助调整点位置。
除上述主要思想外,文中还使用了一些技巧来提高分数。
包括Center Grouping,Ghost box suppression,Edge aggregation,Extreme Instance Segmentation等。
具体内容可以阅读论文第四章。
评估模型:
可以看到模型可以实现较高的精度:
模型也可用于mask的预测,完成语义分割的任务。也可以获得不错的结果。(结合 DEXTR方法【Deep extreme cut: From extreme points to object segmentation】)
网友评论