深度估计：BinsFormer

BinsFormer: Revisiting Adaptive Bins for Monocular Depth Estimation

https://arxiv.org/abs/2204.00987

官方开源：https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox

单目深度估计是计算机视觉中的一项基本任务，已引起越来越多的关注。最近，一些方法将其重新表述为分类回归任务，以提高模型性能，其中通过预测概率分布和离散箱的线性组合来估计连续深度。在本文中，我们提出了一个名为BinsFormer的新框架，专门用于基于分类回归的深度估计。它主要关注特定任务中的两个关键组成部分：1）自适应箱的正确生成和2）概率分布和箱预测之间的充分交互。具体来说，我们使用Transformer解码器来生成bin，将其视为一个直接的集到集预测问题。我们进一步集成了多尺度解码器结构，以实现对空间几何信息的全面理解，并以粗略到精细的方式估计深度图。此外，提出了一种额外的场景理解查询来提高估计精度，这表明模型可以从辅助环境分类任务中隐式地学习有用信息。在KITTI、NYU和SUN RGB-D数据集上的大量实验表明，BinsFormer超越了最先进的单目深度估计方法，具有显著的优势。