美文网首页
深度估计:SimIPU

深度估计:SimIPU

作者: Valar_Morghulis | 来源:发表于2023-01-17 07:24 被阅读0次

SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations

AAAI2022

https://arxiv.org/abs/2112.04680

https://github.com/zhyever/SimIPU

第三方开源:https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox

预训练已经成为许多计算机视觉任务的标准范例。然而,大多数方法通常是在RGB图像域上设计的。由于二维图像平面和三维空间之间的差异,这种预训练的模型无法感知空间信息,并作为3D相关任务的次优解决方案。为了弥补这一差距,我们的目标是学习一种空间感知视觉表示,它可以描述三维空间,并且更适合和有效地执行这些任务。为了利用与图像相比在提供空间信息方面更优越的点云,我们提出了一种简单而有效的2D图像和3D点云无监督预训练策略,称为SimIPU。具体而言,我们开发了一个多模态对比学习框架,该框架包括一个模态内空间感知模块,用于从点云学习空间感知表示,以及一个模态间特征交互模块,用于分别将感知空间信息的能力从点云编码器传递到图像编码器。通过匹配算法和投影矩阵建立对比损失的正对。整个框架以无监督的端到端方式进行训练。据我们所知,这是首次探索户外多模态数据集的对比学习预训练策略的研究,该数据集包含成对的相机图像和LIDAR点云。

相关文章

网友评论

      本文标题:深度估计:SimIPU

      本文链接:https://www.haomeiwen.com/subject/bthacdtx.html