ROS-视觉里程计

       位置感知可以说是在 3D 世界中生存和导航所需的最基本和最重要的感官之一。移动、觅食和返回自己家或巢穴的能力在所有动物中根深蒂固，因此机器人技术的挑战变成了“我们如何模仿甚至可能以电子方式增强这种先天能力？在计算机科学中，这一研究领域通常被称为“同时定位和映射”或 SLAM。它包括对仪器和算法的研究，这些仪器和算法试图解决 3D 空间中代理（又名机器人或自动驾驶车辆）的位置和方向，同时创建和更新未知周围环境的“心理”地图。有时这也被称为环境的“由内而外跟踪”以确定代理自身的运动，以区别于“由外向内”运动捕捉（又名动作捕捉）或通过周围的固定摄像机阵列实现的对象跟踪要跟踪的对象。对于许多应用来说，SLAM 最重要的方面之一是能够完全跟踪所有 6 自由度 (6DoF)，这意味着一个人自己的空间位置（X、Y、

        对于一些受约束的映射问题，当今市场上确实存在成熟的解决方案。例如，全球定位系统 (GPS) 和辅助导航现在非常普及，几乎每部手机都内置了接收器，这基本上消除了学习如何阅读和使用地图导航的需要。然而，GPS 的精度目前仅限于大约 10m。此外，更新速率相当慢，约为 10Hz，它们只能在能够接收来自 GPS 卫星的电子三角测量信号的室外很好地工作，并且由于来自山脉和建筑物的反射，它们会受到多径干扰。近年来取得真正惊人发展的另一种传感器是惯性测量单元或 IMU。这包括陀螺仪和加速度计的组合，通常由微型集成 MEMS（微机电系统）组件构建，能够快速测量自身方向和加速度的变化。这些现在也基本上进入了每部手机，并且可以以大约 1 美元的价格单独购买。在价格、功率和尺寸范围的另一个范围内，光探测和测距系统 (LiDAR) 在开发完全自动驾驶汽车的竞赛中变得非常流行。LiDAR 通常由旋转/扫描激光束组成，这些激光束采用短光脉冲或频率调制，以便以毫米级精度测量到周围物体的距离。这些现在也基本上进入了每部手机，并且可以以大约 1 美元的价格单独购买。在价格、功率和尺寸范围的另一个范围内，光探测和测距系统 (LiDAR) 在开发完全自动驾驶汽车的竞赛中变得非常流行。LiDAR 通常由旋转/扫描激光束组成，这些激光束采用短光脉冲或频率调制，以便以毫米级精度测量到周围物体的距离。这些现在也基本上进入了每部手机，并且可以以大约 1 美元的价格单独购买。在价格、功率和尺寸范围的另一个范围内，光探测和测距系统 (LiDAR) 在开发完全自动驾驶汽车的竞赛中变得非常流行。LiDAR 通常由旋转/扫描激光束组成，这些激光束采用短光脉冲或频率调制，以便以毫米级精度测量到周围物体的距离。

        我们将在这里重点关注的技术称为视觉惯性里程计 (VIO)，它实际上是最接近大多数动物感知世界的电子方式——使用 CMOS 传感器充当眼睛来观察周围环境；一个IMU，充当内耳来感知平衡和方向；并计算充当将信息融合到即时定位和映射中的大脑。VIO 已成为近年来出现的最有前途的 SLAM 技术之一，并且算法和变体继续高速发展和改进。例如，如今大多数增强/虚拟现实耳机（包括 Microsoft HoloLens、Oculus Quest 或 Magic Leap One）和手机（Apple 的 AR Kit 和 Google 的 AR Core）都利用自己的 VIO 版本来准确且低延迟地跟踪设备的完整 6DoF。此外，VIO 现在也开始在机器人技术中得到更广泛的采用。与现有的激光雷达解决方案相比，VIO 系统体积更小、成本更低、功耗更低，而且它们提供了卓越的潜力重新定位，通过基于视觉特征识别并重新定位他们在大地图上的位置，而不仅仅是测距和几何。

熟练的水手过去常常根据星星导航 (A)。视觉惯性里程计试图实现可用于机器人 (B) 和 AR/VR 耳机 (C) 的低延迟、高速、稳健和准确的全 6DOF 跟踪

初学者指南

        开始理解视觉惯性里程计的最佳方法是首先检查“视觉”部分。操作的核心概念可以追溯到没有指南针和没有 GPS 的时代，那时人类可以根据星星导航，如图 1A 所示。通过识别特殊的星座或特定的星星，人们可以找到北方（即方向）以及计算自己的纬度和经度（即位置），通常使用查找表。

       在计算机视觉中，我们努力以最快和最稳健的方式完成相同的任务。我们首先拍摄周围环境的电子照片。这通常包含数百万个像素，因此我们使用“特征检测算法”立即将信息内容压缩到我们基本上只剩下几百个命名点的程度。换句话说，图像现在被替换为带有几个白点的黑色图片，每个白点都有一个身份，就像在晚上看天空一样。那么，什么是“特色”？一个功能可以像说“找到图像中的所有角”一样简单。实际上，这是一个非常活跃的研究领域，特征检测算法的名称比比皆是，例如 SIFT、LIFT、Harris Corner、Shi-Tomasi corner、ORB、BLOB、SURF、KAZE、FAST 等等。一旦检测到特征，它们都必须通过算法“命名”，该算法为每个特征赋予“描述符”或“特征向量”。我们对接收到的每个新图像帧重复此过程，并使用特征跟踪比较和跟踪连续帧（或某些关键帧）中的特征算法。我们强调每个特征实际上都映射到 3D 空间，而不仅仅是二维空间。图 2 显示了具有检测到的特征的图像示例。

在图像中检测到的“哈里斯角特征”示例

        这一切都运行得非常好，但最先进的解决方案正在不断发展以提高性能。例如，使用单个相机（又名 Mono-SLAM）的问题之一是它不能很好地解决比例问题。这意味着如果相机向前移动 1 米，它无法将观察到的运动与 1 米相关联，因为它也可能是 1 厘米。解决此问题的两种最常见方法是使用经过校准的立体相机或 IMU。另一个重大挑战是能够实现高帧率和低延迟跟踪。虽然以更高的帧速率操作相机传感器当然是可能的，但这些算法实际上在计算上非常昂贵（意味着需要计算和耗电），而且你运行相机的速度越快，它获得的光线就越少。短时间（在 10 毫秒内），但如果操作时间较长（如几秒），则会出现严重的漂移。IMU的加入其实就是VIO中“I”（“Inertial”）的由来。表 1 很好地总结了视觉和 IMU 里程计如何很好地相互补充。此外，如果传感器连接到提供里程计读数（如速度）的车辆，这也可用于提高跟踪精度。最后，由于跟踪的主要前提是能够看到特征，因此大多数系统都尝试使用具有非常宽视野的光学传感器，这样它们就可以看到尽可能多的特征。当传感器靠近白墙时，这尤其有用，白墙本质上没有任何特征。用鱼眼镜头，总之，当今最好的解决方案倾向于将来自多个鱼眼成像仪的信息与来自 IMU 和/或车辆里程计的传感器读数（如果可用）结合起来。然后它将所有信息实时融合在一起，并以极低的延迟跟踪传感器自己的 6DoF。图 1B 和 1C 分别是使用此类嵌入式传感器对机器人和 AR/VR 耳机进行以自我为中心的 6DOF 跟踪的示例。

视觉和 IMU 里程计技术相互补充。特别是，IMU 数据的可用频率高于视觉里程计。另一方面，单独的 IMU 数据会随着时间的推移产生大量的聚合漂移，这可以通过视觉里程计的不频繁更新来纠正。此外，视觉里程计依赖于场景中特征的存在，而 IMU 相对独立于环境

总之，当今最好的解决方案倾向于将来自多个鱼眼成像仪的信息与来自 IMU 和/或车辆里程计的传感器读数（如果可用）结合起来。然后它将所有信息实时融合在一起，并以极低的延迟跟踪传感器自己的 6DoF。图 1B 和 1C 分别是使用此类嵌入式传感器对机器人和 AR/VR 耳机进行以自我为中心的 6DOF 跟踪的示例。