2004 PAMI Martin
Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
Martin 的主要贡献,贡献了BSDS数据集,并提出了gPb的原初版本。
Arbelaez 的 gPb-owt-ucm 中的 gPb global Pb 是以这篇文章的工作为基础的。
Martin 提出了利用 oriented energy, brightness gradient, color gradient, texture gradient 一起联合使用来检测边缘。文章很大篇幅探讨了 texture gradient 的使用,想说明 texture features 对边缘检测(分割)是有巨大帮助的。
每个像素点的 OE, BG, CG, TG 算是四种不同特征,然后使用 ground truth 训练分类器,学习边缘点这四种特征的组合的正确组合。
文中提出了 F-measure,这个评价标准为后续许多文章所采用。
2008 ECCV Sbc Irani
What is a Good Image Segment? A Unified Approach to Segment Extraction
文章思想就是说,一个物体的某个部分,总是可以通过另一个部分旋转、对称等得到,这可以帮助其分割。想法还是可以的,但是也只能说是适用于某些物体而已。

2011 PAMI gPb-owt-ucm Malik 组
Contour Detection and Hierarchical Image Segmentation
这篇文章真是很有价值了,值得一读再读。
UCM 图中代表的是概率,对此概率设定阈值,阈值越大,留下来的边缘越明显,从而实现了从细到粗的层次性边缘检测,其实并不是很有道理的,因为这并非语义的边缘(人们脑海中的边缘)。
将轮廓检测与层次分割一起做。在 Martin 的基础上,将 Pb (probability of boundary) 扩展为 gPb (global probability of boundary),然后使用 owt (oriented watershed transform) 将 boundary 转为一个一个的 region,然后再使用 ultrametric contour map 将这些小区域连接成层级的树结构。有了这样的分割结果之后,可以在基础上做交互的图像分割和多尺度的目标检测。
2012 IJCV 选择性搜索 SS
Selective Search for Object Recognition
选择性搜索,利用纹理,颜色,大小来聚合区域,生成数目较少的区域候选,从而来做目标检测。参数是实验出来的,其实效果并不好,只不过在那个年代相比滑动窗口有了巨大提升。
选择性算法利用多样的组合策略,可以快速地生成层次性的区域。其所采用的策略(相似性度量)有四个:、
、
、
。
选择性搜索所使用的评估标准是 Average Best Overlay (ABO) 和 Mean Average Best Overlap (MABO)。值得注意一下。
2012 PAMI 超像素分割 SLIC
SLIC Superpixels Compared to State-of-the-art Superpixel Methods
超像素分割的方法。其实很简单,就是预设要生成K个像素块,然后在一定范围内使用<L, a, b, x, y>相似性聚类,获得超像素,跟位置有巨大关系,后面应用这个方法的似乎并不多。
这篇文章思路简单,5-D 向量 Lab + x,y,预先根据需要的超像素个数计算网格点,将中心放入格中,根据定义的距离度量迭代计算直到收敛。
采用 under segmentation error 和 boundary recall 这两个评价指标来与其他超像素分割方法进行比较。
文中提出对超像素分割的两种分类,一是 graph-based algorithms,一是 Gradient-ascent-based algorithms,对超像素分割方法有一总结,值得一看。
超像素分割是分割前的预处理步骤。
最后将 SLIC 应用于图像分割和医学上线粒体检测,验证 SLIC 方法的有效性。
2016 CVPR
Scale-Aware Alignment of Hierarchical Image Segmentation
UCM 层次分割过程中,物体的各个部分层次不一致。举个例子,一辆汽车侧面图像,两个轮子应该在同一个分割层次,但是 UCM 的结果不一定在一个层次,文章提出一种方法来矫正这个问题,使得最终的分割结果既不过分割与也不欠分割。


2016 ICCV
Holistically-nested edge detection

It has been long understood that precisely localizing edges in natural images involves visual perception of various ``levels" [18,27]. A relatively comprehensive data collection and cognitive study [28] shows that while different subjects do have somewhat different preferences regarding where to place the edges and boundaries, there was nonetheless impressive consistency between subjects, e.g. reaching F-score 0.80 in the consistency study [28].
Now I get it, in this paper, ‘multi-scale' represents the different sizes image or feature maps, then the ’multi-level' represents that there are an output corresponding to each scale.
2017 PAMI MCG Malik组
Multiscale Combinatorial Grouping for Image Segmentation and Object Proposal Generation
在 UCM 的基础上,提出一个区域候选生成的方法。
2017 PAMI BossPeng
Evaluation of Segmentation Quality via Adaptive Composition of Reference Segmentations
如文章题目,即在分割的 ground truth 上做文章,不是简单的将人标注的标签作平均得到 ground truth,而是对多个标签做一些操作得到 ground truth,使得其最适合当前的这个分割效果。

相关工作中对分割评价指标做了一总结:
region-based methods
- LRE
- GCE
- SC
- VOI
pixel-based methods - RPI
- NPR
boundary-based methods - BDE
2018 arXiv Thomas Huang组
YouTube-VOS: A Large-Scale Video Object Segmentation Benchmark
贡献了一个视频分割的数据集,比较有价值的地方在于:一,提供了一个对视频分割数据集的汇总,二,介绍了这个数据集怎样做的。文章中用于评价分割算法的标准是 region similarity 和 contour accuracy
。
2020 arXiv
Image Segmentation Using Deep Learning: A Survey
使用深度学习的图像分割方法的一篇综述。没有细看,应该是个很好的参考文献。
这篇文章作为一篇使用深度学习做分割的综述,算是很不错了,大量的参考文献(172篇)。
主要将现有的分割领域的深度网络分了类,介绍了常用的数据集和度量,最后提了一下对未来的展望。
网友评论