深度学习开创了3D真实场景下，获取深度的新道路。
分享一下CVPR2019的文章：Group-wise Correlation Stereo Network
X. Guo, K. Yang, W. Yang, X. Wang and H. Li: Group-wise correlation stereo network. CVPR 2019.
立体匹配估计一对矫正过的图像之间的视差(disparity)，这对深度感知、自动驾驶和其它相关任务非常重要。之前的学术工作主要是算出代价量（cost volume），通过交叉相关或者是在所有的视差层级上进行左右特征的 concat，然后用一个 2D或3D的卷积网络来回归出视差图。这篇论文中，我们提出要通过分组相关（group-wise correlation）来算出代价量。沿着通道维度将左、右特征划分为若干组，然后在每组中计算相关图，进而得到多个匹配代价 proposals，然后打包到代价量中。分组相关为特征的相似度的计算提供了有效的表示，而不会像完全相关（full correlation）一样造成过多的信息丢失。和之前的方法相比，它在降低参数个数的同时也可以保持原先的性能。这篇论文也改进了 3D stacked Hourglass 网络，提升性能，降低推理计算成本。我们在 Scene Flow, KITTI2012 和 KITTI2015 数据集上进行了实验，证明该方法的性能。
一个像素点的视差d 可以通过Fl/d 转换为深度值，F FF表示相机的焦距，l ll是两个相机中心点的距离。因此，深度的精度随着视差预测的精度而提升。
传统的立体方法通常由以下四个步骤组成，匹配代价计算、代价聚合、视差优化、和后处理。匹配代价计算为左图像块和可能对应的右图像块提供初始相似性度量，这一步对立体匹配很关键。一些常用的匹配代价包括绝对差值（SAD）、平方差之和（SSD）、归一化相关系数（NCC）。cost aggregation和optimization steps则结合了上下文匹配代价、正则化项来得到更强大的视差预测.
基于深度学习的方法
用神经网络来计算matching cost,视差优化,匹配代价聚合，还有一些后处理过程。GC-NET,PSM-NET(spatial parmaid pooling model,
网友评论