美文网首页
视觉显著性研究综述阅读报告

视觉显著性研究综述阅读报告

作者: 独独晚矣 | 来源:发表于2020-06-17 18:41 被阅读0次

视觉显著性研究概念

按照任务划分

注视点预测(Fixation Prection)

  • 注视点检测任务关注场景中人第一次观看场景时注视点停留位置,也就是人第一眼看向哪里
  • 注视点检测任务是一个历史悠久的研究话题,最早可以追溯到1990,它是来源于认知心理学研究

显著物体检测(Salient Object Detection)

  • 显著物体检测任务是在场景中检测和分割显著性的物体,是object-level的任务
  • SOD的研究历史不长,它更多的是一种视觉任务

FP与SOD的关系

  • FP和SOD的saliency map完全不同
  • FP和SOD有很紧密的关系,因为人在free-viewing模型下第一眼关注的对象一般是显著的物体
FP在image和video上的检测效果图------来自参考文献[1] SOD在image和image group上的检测效果图------来自参考文献[3]

按照研究对象划分

RGB image saliency

对一张普通的RGB图像进行显著性分析

RGBD image saliency

RGBD图像相比于RGB图像,增加了一个depth通道,这个通道的每个像素值是传感器距离物体的实际距离

co-saliency

co-saliency 研究的是一组照片中共有且显著的物体,它的研究对象是图片组,它相对于单张照片的研究,增加了图片之间的一致性与相关性考量

video saliency

video saliency 是对video进行显著性分析,video可以看做所有帧图片的集合组,但是它相对于co-saliency增加了运动信息线索和时间信息。对于SOD来说,co-saliency检测的显著性物体是同一类,但video中检测的显著性物体往往是同一个物体,而且每一帧前后帧中这个物体的变化幅度较小

视觉显著性研究模型

传统的视觉显著性研究模型采用hand-craft特征来进行,但是这些模型不能获取high-level和semantic特征,所以效果并不理想,在2014/2015年以后深度学习技术的兴起,越来越多的模型采用深度学习技术提高更高层的特征信息,而且DNN中也可以更方便的融合多尺度多维度特征信息,因此显著性检测效果大大提高,因此我们现在更多的是去学习采用深度学习的模型。

从model设计的不同角度来看可划分

  • bottom-up/top-down思想角度
    bottom-up的是数据驱动型,它直接提取底层线索例如颜色、纹理、形状等进行模型构建
    top-down是任务驱动型,它带着特定任务的先验条件来获取线索,这会受具体任务和实验者等外部因素影响
    目前主要采取的还是bottom-up的思想

  • supervised/non-supervised/weak-supervised model训练角度

FP model

FP在image方向的model

model year note
eDN 2014
DeepGaze I 2014
Mr-CNN 2015
DeepFix 2015
ML-Net 2016
JuntingNet and SalNet 2016
PDP 2016
DSCLRCN 2016
FOCUS 2016
SalGAN 2017
iSEEL 2017
DeepGaze II 2017
EML-Net 2018
DVA 2018
SAM Nets 2018

FP在video方向的model

model year note
Bazzanii et.al. 2016
OM-CNN 2017
Leifman et.al. 2017
Two-stream network 2018
Gorji & Clark 2018
ACLNet 2018
SG-FCN 2018

SOD model

SOD在image方向的model

SOD在co-saliency方向的model合集------来自参考文献[1]

SOD在co-saliency方向的model

SOD在co-saliency方向的model合集1------来自参考文献[3] SOD在co-saliency方向的model合集2------来自参考文献[4]

SOD在video方向的model

SOD在video方向的model合集------来自参考文献[4]

视觉显著性研究数据集

FP数据集

FP在image方向数据集

image FP datasets------图片来自参考文献[1]

FP在video方向数据集

video FP datasets------图片来自参考文献[1]

SOD数据集

SOD在RGB image & RGBD image方向数据集

image SOD datasets整理1------来自参考文献[2] image SOD datasets整理2------来自参考文献[4]

SOD在co-saliency方向数据集

co-saliency datasets整理1------来自参考文献[3] co-saliency datasets整理2------来自参考文献[4]

SOD在video方向数据集

video SOD datasets------来自参考文献[4]

视觉显著性研究metrics

FP的检测metrics

metrics meaning
AUC-J
SIM
EMD ↓
AUC-B
sAUC
CC
NSS
KL ↓

SOD的检测metrics

metrics meaning
Presion-Recall(PR) Curve & F-measure
Receive Operator Characteristic (ROC) Curve and AUC Score
Mean Absolute Error (MAE) Score ↓

视觉显著性模型检测结果

FP model 检测结果

FP model在image上检测结果

image FP model在 MIT300上检测结果------来自参考文献[1]

FP model在video检测结果

video FP model在各数据集上检测结果------来自参考文献[1]

SOD model检测结果

SOD model在image上检测结果

image SOD model 检测结果------来自参考文献[2] image SOD model 在NJUD和NLPR数据集上检测结果------来自参考文献[4]

SOD model在co-saliency上检测结果

co-saliency SOD model 在RGBD COSAL150和RGBD COSEG183数据集上检测结果------来自参考文献[4]

SOD model在video上检测结果

video SOD model 在UVSD和DAVIS数据集上检测结果------来自参考文献[4]

视觉显著性研究方向

FP和SOD共有

  • 分析模型的失败案例,探索失败原因,探索数据集属性、特征对在模型上的影响
  • 更能吸引注意力的是object区域还是low-level区域
  • 图片转换如噪声旋转变形等对model的影响,关系到模型的鲁棒性
  • 建立新的更大规模或者特殊场景下或者多形态多标签的数据集
  • 更健全的评价标准(measure metrics)
  • 与其他任务的结合和应用
  • 对于co-saliency任务,图片内部的显著性差异性和图片间的一致性相似性权重选择
  • 对于video saliency任务,如何更好地利用帧间信息和与运动信息,并将他们与每帧图像的特征结合分析

FP方向特有

  • 收集数据的方式(用人眼移动追踪仪器还是鼠标点击收集)对模型的影响
  • 分析数据集图片中目光、动作、手势等指示方向对FP的影响
  • 分析数据集图片中群体和环境因素对FP的影响

SOD方向特有

  • 收集更多high-level和samantic的特征
  • 将high-level的特征与low-level特征相结合,让模型自行判断采取哪种特征更能检测到saliency object

参考文献

[1] 2018-TPAMI- Saliency Prediction in the Deep Learning Era:An Empirical Investigation
[2] 2019-arXiv-Salient Object Detection in the Deep Learning Era: An In-Depth Survey
[3] 2017-arXiv-A Review of Co-saliency Detection Algorithms: Fundamentals, Applications, and Challenges
[4] 2019-TCSVT-Review of Visual Saliency Detection with Comprehensive Information
[5] 2018-软件学报-视频显著性检测研究进展
[6] 2019-软件学报-视觉注意力检测综述

相关文章

  • 视觉显著性研究综述阅读报告

    视觉显著性研究概念 按照任务划分 注视点预测(Fixation Prection) 注视点检测任务关注场景中人第一...

  • 文献综述

    什么是文献综述?文献阅读报告,即“文献综述”,英文称之为“survey”、“overview”。是在对某研究领域的...

  • 如何做好报告

    综述报告和研究报告 综述报告 1.综述报告要关注不同水平的读者 报告的读者群通常外行比内行多,必要的背景知识介绍,...

  • 视觉语言导航总结

    视觉语言导航的研究总结 相关论文及博客 论文 视觉-语言-行为 视觉语言融合 研究综述(武大) CVPR 2020...

  • 2021-01-21 如何做文献综述:克雷斯威尔五步文献综述法

    文献综述的含义 文献阅读报告,即“文献综述”,英文称之为“survey”、“overview”、“review”。...

  • 三个实用技巧搞定文献综述

    ​​一、文献综述的含义 文献阅读报告,即“文献综述”,英文称之为“survey”、“overview”、“revi...

  • 文献综述的含义及撰写方法

    01、文献综述的含义 文献阅读报告,即“文献综述”,英文称之为“survey”、“overview”、“revie...

  • 图像分割(上)

    显著性检测 显著性物体分割:最能引起人的视觉注意的物体区域 注视点预测:通过对眼动的预测和探究探索人类视觉...

  • 读《吴军阅读与写作讲义》(14)

    报告:如何写好报告 综述报告(与论文对比): 1、综述报告要关注不同水平的读者。 2、综述报告的的覆盖面要全。 3...

  • 开题报告要点

    二、开题报告要点:题目;问题提出背景,研究的意义(实践、理论);核心概念界定;国内外相关研究文献综述;研究目标,研...

网友评论

      本文标题:视觉显著性研究综述阅读报告

      本文链接:https://www.haomeiwen.com/subject/aocsxktx.html