深度估计：DepthFormer

DepthFormer: DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation

https://arxiv.org/abs/2203.14211

官方开源：https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox

本文旨在解决有监督的单目深度估计问题。我们从一项细致的试点研究开始，以证明长程相关对准确的深度估计至关重要。因此，我们建议利用Transformer以有效的注意力机制来模拟这种全局环境。我们还采用了一个额外的卷积分支来保存局部信息，因为Transformer在建模此类内容时缺少空间归纳偏置。但是，独立分支会导致功能之间的连接不足。为了弥补这一差距，我们设计了一个分层聚合和异构交互模块，以通过元素交互增强Transformer特征，并以集到集的转换方式对Transformer和CNN特征之间的相关性进行建模。由于全局对高分辨率特征地图的关注导致了难以承受的内存成本，我们引入了可变形方案来降低复杂性。在KITTI、NYU和SUNRGB-D数据集上的大量实验表明，我们提出的称为DepthFormer的模型超越了最先进的单目深度估计方法，具有显著的优势。值得注意的是，它在竞争激烈的KITTI深度估计基准上取得了最具竞争力的结果。