一 基础

浙江大学19年的一篇RGB-D显著性检测的文章（文章地址：https://arxiv.org/abs/1901.01369， 代码地址：https://github.com/Lucia-Ningning/Adaptive_Fusion_RGBD_Saliency_Detection ），RGB-D显著性检测正逐渐成为显著性目标检测的热点，这篇文章分析了RGB-D显著性目标检测可能出现的情况：

1 RGB图像，Depth图像都能独立完备的检测出显著性目标

2 仅依靠RGB图像便能够成功完备的检测出显著性目标 

3 仅Depth图像便能够成功完备的检测出显著性目标 

4 将RGB+depth图像的特征进行融合能够成功完备的检测出显著性目标

5 RGB+Depth图像的特征都不能成功的检测出显著性目标 

对于5使用什么方法都不好使，所以不考虑。本文提出对于1,2优先使用RGB图像的特征，3优先使用Depth图像的特征，4同时使用RGB+depth图像的特征，基于这种思路，本文做出的创新点在于提出了交换图(switch-map)在对RGB和detph特征进行选择，并且通过设计伪-GT对交换图进行了监督。

二 提出的方法

提出的网络框架为：

从上图可以看出，本文提出的框架十分简洁，RGB图像，Depth图像的特征提取和显著图生成模块都采用了基于VGG的Encoder-Decoder结构，其创新点体现在Saliency Fusion Module 中的Switch map（SW）和对SW的损失设计。将RGB分支和Depth分支生成的显著图进行融合生成最终显著图的过程为：

公式4： 将来自RGB的特征和Depth的特征进行级联，公式5：通过卷积生成交换图，公式6： 利用交换图生成最终的显著图。

这里SW就起到筛选RGB和Depth特征的作用。如果不对显著图进行监督，则SW的设计与普通的attention 机制没有什么区别，为了对SW进行监督，优先使用RGB图像的特征，本文设计了SW的伪-GT，伪-GT按照公式7生成.从公式7中可看出，SW是以RGB的特征为主。

三 损失

文章中采用的损失函数有：

1 显著性常用的交叉熵损失

2 交叉熵损失常常带来的一个问题是生成的显著图像的边缘不清晰，解决办法有两个思路：（1）在公式10中添加权重以平衡正负样本。（2）对生成的显著图的边缘进行额外损失。本文便是对边缘添加损失

3 SW的损失

因此总的损失为：

四 结果分析

1 主观指标

2 客观指标