LIDAR和立体相机在移动机器人建图中的数据融合
摘要
LIDAR（2D）已被广泛用于移动机器人中的建图和导航。但是，它的使用仅限于简单的环境。可以通过添加更多传感器并将这些数据一起处理来解决此问题。本文探讨了一种如何将立体相机和LIDAR的测量结果与动态建图融合的方法。来自LIDAR数据的栅格地图用作先决条件并且由来自立体相机的2D栅格图扩展。该方法基于从立体视觉获取的视差图中的地面估计。对于地面检测，使用RANSAC和最小二乘法。在确定障碍物之后，生成2D占用图。该方法的输出是2D地图，作为来自LIDAR和相机的补充地图的融合。从Willow Garage Stereo和Hokuyo UTM-30LX Laser获得的实验结果足以确定这种方法是有益的，尽管我的实现仍然是原型。在本文中，我们提出了应用方法，分析结果，并讨论修改和可能的扩展，以获得更好的结果。
1. 简介
环境建图是移动机器人最重要的部分之一。 它是定位和导航的基础 - 尤其是在未知环境中的实时进行。 关于2D LIDAR和立体相机分别进行建图的研究很多（不仅仅是因为它们的使用频率）。 激光雷达提供频率很高的非常准确的信息。 但是，该传感器仅在一个平面上提供信息。 例如，LIDAR能够在正确的位置看到桌子的腿，但不能看到作为机器人障碍的桌面。 另一方面，立体相机可以提供具有任何物体的颜色和纹理的3D结构信息。 然而，与激光范围检测器相比，相机的精度较低，因此视野范围受到限制。
我们在本文中讨论的问题主要是来自LIDAR和立体相机的数据融合，如何引导数据以获得任何新的或更好的建图信息，而不仅仅是来自一个传感器的数据。 此外，我们探索了应该使用哪些方法来实现融合，重点是立体相机（简称立体）数据处理。 这项工作的目的是找出我们的方法是否有用。 我们没有提供这种方法的最佳结果。 当然，我们可以通过卓越的相机和更合适的数据获得更好的效果。
有一些技术可以解决我们问题的某些部分。例如，[1]中提出了一种3D物体检测技术。但是，这种方法是通过使用三个摄像头来执行的，并且它们不关注环境建图，而只关注对象检测。在这些[2,3]的工作中，有障碍物和道路被发现。他们的方法基于“v-disparity”。然而，这种方法在障碍物占据图像的大部分（大多数是室内）的环境中或在室外环境中会失败，在存在斜率变化的情况下，表示地面（道路）的2D线不是直线。。还有论文[2]，它倾向于将视差图转换为3D点云，然后使用深度信息在从视差图进行原始提取之前提取地面和障碍物[3,4]。然而，由于在距离估计中涉及非线性变换，使用3D点云是不可靠的，其中使用了相机的不准确参数。
我们的方法是基于立体相机视差图中的ground plane检测。 然后我们确定环境中的障碍物并将该场景投影到3D点云中，用于2D地图构建。 最后，我们通过立体视觉的2D地图补充LIDAR的2D地图。 第2节介绍了建图中使用的两种传感器的基本信息和问题。第3节介绍了基于地面检测的立体建图方法的细节。在第4节中，我们提出了数据融合的概念，最后我们展示了 并在第5节讨论我们的方法的结果。所有结论总结在第6节。
2. 建图中的传感器
尽管激光测距仪相对昂贵，但激光雷达和相机是移动机器人中最常用的传感器。 从数据到信息的转换是高级别的。
2.1 LIDAR
2D LIDAR是非接触式光学传感器，它使用激光束扫描二维区域的环境。 它从小角度扫描到完整的360度，扫描频率可以是5Hz到50Hz，例如最常用的LIDAR传感器。
多年来，从LIDAR获取定位和导航地图的最常用方法是栅格地图(Occupancy grid mapping)。 这种方法已经研究了很长时间，因此我们将它作为我们方法的先决条件。 地图是小单元格的组合 - 您可以将单元格视为栅格或像素化。 每个单元格的值表示单元格被障碍物占据的概率（灰度 - 黑色表示100％占用，白色表示空闲）。 绿色栅格代表未知环境。 我们可以看到，在图1中机器人前方的区域中有许多物体，而在背面的区域未知。 有关此方法实现的详细信息，请参阅[5,6,7]。
图1
2.2 立体相机
立体相机提供有关场景的重要信息：颜色，纹理，强度和主要3D结构。 而且，相机能够看到障碍物后面。 然而，狭窄的视野和有限的范围是缺点。
如果我们想要正确使用立体相机，我们需要校准相机以获得相机内在和外在参数来修复图像（因此我们的图像不再变形）。 基于相机校准和极线几何的参数，我们能够纠正立体图像并找到像素对应关系[8]。
最后，我们可以计算两点之间的双目视差，我们需要有关深度的信息。 该原理基于相应像素的之间的差异（参见图2）：
基于视差图的3D场景，从该视差图向后重建场景。 对于这种重投影到相机坐标系，我们需要来自相机校准的参数：
我们可以看到有很多步骤，立体相机会累积精度误差：
a. 对于校正参数的估计
b. 图片修正
c. 找到像素对应关系的视差算法
d. 从视差图到3D坐标的重投影。
3. 立体建图
我们使用地面机器人，因此我们考虑二维机器人运动。 虽然立体相机提供3D信息，但我们将其转换为2D栅格，类似于2.1节中的LIDAR地图。 该地图补充了LIDAR地图（均为2D），这是地面机器人定位和导航的合适方法。
在我们的方法中，我们直接从视差图确定障碍物和自由区域 - 注意从2D视角到3D正交系统的向后投影位于链的末端。 我们的方法的方案如图3所示：
3.1 视差地图
视差图允许我们使用来自相机传感器的原始数据，根据一些估计的参数消除所有不必要的变换。 我们建议进行一些预处理，例如通过双边滤波器平滑图像。 然后纯粹的视差计算是不够的，因为我们丢失了关于精确边缘的信息并且对象是不完整的。 我们可以通过基于加权最小二乘法[10]的原始视差图的后滤波来解决这个问题。
3.2 地面检测
我们使用平面的几何模型来找到机器人前面的地平面。 我们可以简单地假设地面具有恒定的高度。 它对于室内应用非常有用，其中地面相对于摄像机的位置没有变化。 但是，动态方法（我们使用）在更多情况下有效。 平面的几何定义是：
为了得到我们平面的具体定义，我们需要例如平面上的3个点。 为此，随机样本共识（RANSAC）[12]是从计算机视觉社区内开发的有效技术。 基本上我们迭代地和随机地在感兴趣的区域中生成3个点，然后拟合平面并计算内部和异常值的比率。 地面大部分覆盖图像的下半部分，因此我们只能将此部分用作感兴趣的区域以提高效率。
我们的地平面检测结果如图6和图7所示。绿点（最大区域）是3D空间中的视差图。 三个红点定义了平面。 适合红点的黑色平面是我们的地面。 我们还可以看到黑色平面的倾斜，其将减小的视差值复制到图像的中心。
3.3 障碍物检测
为了确定机器人运动的障碍物和自由区域，我们使用简单的决策规则：
您可以在图8中看到我们的结果。绿色区域是自由的，红色被占用。 请注意，估算器确定墙壁底部的区域是空闲的。 原因是由于视差图的不准确性，我们必须将高参数设置为高以检测整个地面。
3.4 Occupancy grid map
为了在占用网格图中表示结果，我们需要将我们的信息从视角（视差图）转换为正交3D。 为此，我们使用第2节中提到的方程式。当我们有点的正交坐标时，我们可以将它们投影到2D空间中。 这是一个步骤，其中错误确定的障碍底部被顶部适当地覆盖。(???)
我们不讨论地图中栅格的占用概率，因为它不是本文的目的。 我们将方法简化为网格中的2个值 - 占用和未知（见第5节），因为这对我们的研究来说已经足够了。 此外，由于其不准确性，从立体相机中省略了自由栅格是合理的。有关正确视差图的完整实现，请参阅第2.1节或[5]。
4. 数据融合
我们融合的目的是为建图带来新信息，例如用于路径规划。 由于LIDAR的高精度（见2.1），定位应主要从LIDAR图计算。 要将摄像机包含在定位中，应将此传感器的优先级设置为正确的值。 另一方面，路径规划器肯定会从我们的方法中获得信息。
我们不包括从相机到定位的障碍信息（为此，我们可以使用类似相机SLAM [16]的东西）。 但是，我们建议使用此方法升级路径规划器 - 它应该知道LIDAR不可见的障碍物，尽管相机有点不准确。 可以使用路径规划的高级实现，例如基于local cost map的矢量场直方图(Vector Field Histogram)[17]。
网友评论