Title：NeuroSLAM: a brain-inspired SLAM system for 3D environments
作者：Fangwen Yu · Jianga Shang · Youjian Hu · Michael Milford
来源：Springer-Verlag GmbH Germany, part of Springer Nature 2019
关键词：SLAM、类脑
摘要
长期以来，机器人专家一直从大自然中汲取灵感，开发诸如RatSLAM这样的导航、同步定位和绘图(SLAM)系统。像鸟类和蝙蝠这样的动物拥有最高级的导航能力，它们可以利用空间的内部神经表征，结合外部感官线索和自我运动线索leveraging an internal neural representation of space combined with external sensory cues and self-motion cues，在大型的三维环境中进行稳健的导航。本文基于三维网格单元3D grid cells和多层头部方向单元 multilayered head direction cells的计算模型，提出了一种基于神经启发的 4DoF SLAM系统NeuroSLAM，与视觉系统集成，提供外部视觉线索external visual cues和自我运动线索self-motion cues。
NeuroSLAM的神经网络活动实时驱动多层图形经验地图self-motion cues的创建，使其能通过一系列熟悉的局部视觉线索实现再定位和闭环检测。
提出了一种多层经验图松弛算法A multilayered experience map relaxation algorithm，用于校正环路闭合后路径积分中的累积误差。
使用合成和真实世界的数据集，包括复杂的、多层的室内和室外环境，我们演示了NeuroSLAM能生成拓扑正确的三维地图。
1. Introduction
在三维环境中导航是许多当前或未来机器人任务的关键能力，如救援、运送和探索。在这些环境中进行操作涉及许多挑战，包括板载计算、缺乏云访问、电力消耗限制和成本压力(Cadena等，2016年;当前的先进系统通常采用多传感器套件，包括视觉、距离、惯性和GNSS(全球导航卫星系统)传感器，并结合概率映射或同步定位和映射(SLAM)后端(Saputra等，2018年)。
与当前的机器人技术相比，许多动物，如蝙蝠，能够在一个范围内的三维环境中进行地图绘制和导航(Jeffery et al. 2013;Finkelstein等人，2016)。通过结合哺乳动物大脑中空间导航的局部视觉线索和自运动线索来估计三维空间中的位置(Milford和Schulz 2014;Finkelstein et al. 2016;(Campbell et al. 2018)。哺乳动物大脑中已经发现了一些导航的神经基础，包括位置细胞(O Keefe和Dostrovsky 1971)、网格细胞(Hafting et al. 2005)、头向细胞(Taube et al. 1990)、边界/边界细胞(Solstad et al. 2008);Lever等人(2009)、speed cells等人(Kropff等人，2015)等人(Moser等人，2017)。与此同时，一个内部的认知地图是根据局部视觉线索和自我运动线索生成的。(Jeffery et al. 2013, 2016;Evans等人，2016;Cope et al. 2017;Campbell et al. 2018;(Bjerknes et al. 2018)
随着对位置和头部方向细胞编码的二维空间神经机制的初步发现和理解，一些神经导航模型已经发展并应用于机器人导航。例如，开发了一个基于头部方向单元和位置单元的导航模型，该模型部署在Khepera机器人上，在一个小的2D区域内运行(Arleo和Gerstner 2000)。此外，为了支持大规模的持续导航和地图绘制，Milford et al.(2004)、Milford and Wyeth(2008)和Milford and Wyeth(2010)开发了一种计算模型，称为RatSLAM，这是一种受啮齿类动物大脑启发的SLAM算法。RatSLAM已经成功地在2D地图上绘制了整个郊区，并在办公环境中导航了两周。最近，基于几种类型的神经网络模型和神经形态硬件，开发了几种新的方法(Banino等，2018;2018年;2018年;Kreiser等。2018a,b)
迄今为止，在开发能够在3D而非2D环境中工作的生物启发的地图模型方面，相关工作相对较少。这在一定程度上是由于对大脑中三维空间表征的理解相对较晚;神经科学家最近在自由飞行的蝙蝠、老鼠和人类中发现了3D导航神经表征的神经基础证据，包括3D定位细胞(Yartsev和Ulanovsky 2013;Kim等人，2017;(Wohlgemuth等，2018)，3D头部方向细胞(Finkelstein等，2015;Laurens等人，2016;Page et al. 2018;(Shinder和Taube 2019)和3D网格单元(Finkelstein等，2016;Kim和Maguire 2019年;(Casali等，2019年) Hayman et al.(2015)和Jeffery et al.(2015)提出了这些三维空间神经细胞的几种数学模型，并分析了它们在表示三维空间方面的特性和局限性。Page等(2018)提出了一种表示三维头部方向的双轴三维旋转规则。Casali等(2019)发现了垂直空间中网格细胞激发场的空间编码特性。一些研究还将神经科学重新纳入研究，试图帮助神经科学家解释神经生物学记录(Llofriu et al. 2015;Gianelli等人2018;Gaussier等人，2019)。
在这篇论文中，我们提出了一种新颖的仿生绘图系统，该系统有4个自由度，使其能够在3D环境而不是2D环境中进行绘图和定位。核心系统的一些灵感来自以前的2d大脑地图系统，包括RatSLAM (Milford et al. 2004;米a尔福德和惠氏2008年，2010年)，但作出了一系列新的贡献如下：
-
首先，我们提出了一个新的神经启发模型，用于在一个大型的、真实世界的三维环境中进行建图和定位，据我们所知，这是第一个这样做的工作；
-
其次，我们建立了一个包含三维网格单元和多层头部方向单元的连接位姿细胞conjunctive pose cells的功能计算模型，用于表示一个四自由度位姿(x, y, z, yaw)；
-
然后，我们提出了一种新的多层图形经验地图multilayered graphical experience map，它结合了local view cells, 3D grid cells, multilayered head direction cells and 3D visual odometry；
-
最后，我们提出了三个新的三维地图现实世界和合成数据集，包括室外和室内环境，并评估了NeuroSLAM的性能。
本文组织如下:第二节讨论了传统的视觉冲击和脑灵感冲击。第3节描述了目前对大脑中三维空间神经表现的理解，并提供了问题的背景。第四部分介绍了我们的NeuroSLAM系统的结构和详细模型，建立了机器人三维空间表征的神经机制。第5节介绍了研究NeuroSLAM性能的实验方法。第6节给出了实验结果，展示了系统在三维空间中的映射和定位性能。第7节讨论并总结了研究结果，揭示了关于开发和部署一个受神经启发的3D SLAM系统的优缺点的见解。
2. State of the art in the SLAM for 3D environments
在本节中，我们将简要回顾3D环境下的传统视觉SLAM和脑灵感SLAM。3D SLAM系统可以使机器人从任意初始3D位置探索未知的3D环境。同时，可以逐步构建三维空间地图。利用三维空间地图同时计算机器人的三维姿态(Dissanayake et al. 2001;Thrun和Leonard 2008)。解决3D SLAM问题的方法大致可分为两类：
-
主要的方法集通常是几何性质的，由优化或概率滤波器驱动，例如，图优化、粒子滤波器或扩展卡尔曼滤波器(EKF) (Cadena et al. 2016)。
-
SLAM的第二套方法是基于生物制图和定位系统的灵感。
这些受生物学启发的方法也分为两类：
-
一种方法是基于蚂蚁、蜜蜂和昆虫的导航行为策略(Sabo et al. 2016, 2017;Stone等人，2016;Dupeyroux等人，2019年)。
-
另一种方法是基于神经导航机制。本文主要研究基于三维神经导航机制的导航方法。
在接下来的章节中，我们将回顾传统的3D视觉SLAM和之前的类脑SLAM系统。
2.1 Conventional 3D visual SLAM
传统3D视觉SLAM
2.2 Brain-inspired SLAM
哺乳动物可以找到食物，回到它们的巢穴，并利用它们的导航能力找到社会伴侣。随着对大脑神经机制的发现和认识的提高，一些导航神经网络模型已被开发并应用于二维区域的机器人导航。例如，开发了头部方向单元和位置单元的导航计算模型，该模型部署在Khepera机器人上，在一个小的2D区域内运行(Arleo和Gerstner 2000)。此外，Barrera和Weitzenfeld(2008)开发了具有空间导航能力的机器人架构。为了支持大规模的持续导航和绘图，开发了一种受生物启发的SLAM模型，称为RatSLAM (Milford et al. 2004;米尔福德和惠氏2008年，2010年)。这个模型松散地模仿了啮齿类动物的部分大脑。RatSLAM已经成功地在2D地图上绘制了整个郊区，并在2D办公环境中导航了两周。
近年来，基于RatSLAM模型的扩展方法得到了发展，如BatSLAM (Steckel和Peremans 2013)利用声纳传感模态。Tang等人(2018)集成了一个情景记忆模块来处理导航任务中的上下文。Milford等(2011a)和Milford等(2011b)在不改变RatSLAM核心模型的前提下，对视觉系统进行了改进，解决了2.5D环境下的SLAM问题。Silveira et al.(2013)和Silveira et al.(2015)通过使用3D place cell模型扩展RatSLAM模型，探索了三维水下环境中的SLAM问题，但它们并未表示度量和方向信息。
此外，基于位置细胞(PC)、头向细胞(HDC)和网格细胞(GC)以及各种类型的神经网络，如连续吸引子神经网络(CANN)、深度神经网络(DNN)和spiking神经网络(SNN)，一些新的模型和方法已经被开发出来，如表3所示。有几种方法使用了新的传感器，如基于事件的相机和RGB-D传感器，以及神经形态硬件，如Kreiser等(2018a,b)。
许多方法的灵感来自于大脑的空间表现，已经开发了2D SLAM机器人。然而，基于哺乳动物大脑的三维空间神经表征，很少有人在具有挑战性的现实环境中解决3D SLAM的难题。直到最近，这种对2D的关注一定程度上是由于对3D导航下的神经基底的了解相对较少。然而，最近在飞行蝙蝠和人类大脑中发现的三维导航神经表征为建模者和机器人专家提供了一些新的灵感来源。在这篇论文中，我们着重于开发一个三维空间表现的神经模型，以便在三维环境中提供一个仿生的SLAM能力。
TIM图片20191024194037.png
TIM截图20191024194103.png
3 3D spatial representation in the mammalian brain
哺乳动物大脑中的三维空间表征
神经科学家已经在哺乳动物大脑中发现了一些支持二维导航的神经空间表征的神经基础(Moser et al. 2017)。然而，许多动物能够在三维空间中导航，但直到最近，我们仍然对哺乳动物大脑中的三维空间表征知之甚少。近年来，神经科学家在自由飞行的蝙蝠和大鼠中发现了三维导航神经表征的一些神经基础，包括三维空间细胞(Yartsev和Ulanovsky 2013;(Wohlgemuth等，2018)，3D头部方向细胞(Finkelstein等，2015;Laurens等人，2016;Page et al. 2018;(Shinder和Taube 2019)和3D网格单元(Finkelstein等，2016;Casali等人，2019年)。此外，最新研究表明，人类大脑中存在三维定位细胞、三维头向细胞和三维网格细胞(Kim等，2017;Kim和Maguire 2018a,b, 2019)。哺乳动物通过一定的三维空间位置时，三维空间细胞选择性放电，形成三维空间的度量图(Yartsev and Ulanovsky 2013;Finkelstein等人，2016)。三维头方向单元响应方位角x俯仰的特定组合，从而表示三维空间中头矢量的方向(Finkelstein et al. 2015, 2016)。三维网格单元将呈现规则的三维网格模式，这些模式表示三维路径集成所需的三维位置、方向和度量信息(Finkelstein et al. 2016;Jeffery et al. 2015)。Jeffery et al.(2015)和Hayman et al.(2015)提出了这些三维空间神经细胞的几个数学模型，并分析了它们在表示三维空间时的性质和约束条件。Page等(2018)提出了一种表示三维头部方向的双轴三维旋转规则。Casali等(2019)发现了网格单元在垂直空间中的空间编码特性。Soman等(2018)建立了基于层次网络的三维空间神经细胞模型。本文将三维网格单元和头向单元模型相结合，实现了四自由度的位姿。这些单元格的特性将在下一节中描述
3.3 Multidimensional continuous attractor network
多维连续吸引子网络(MD-CAN)是空间神经细胞建模的重要方法(Samsonovich andMcNaughton 1997;Burak和Fiete 2009;Mulas等人2016年;Jeffery et al. 2016;Laurens和Angelaki(2018)。MD-CAN是一种加权兴奋性和抑制性连接的神经网络(ShipstonSharman et al. 2016)。在没有外部输入的情况下，MD-CAN有许多周期性的连接，这些连接导致网络随时间收敛到某些稳定状态(吸引子、活动包或凸包)(Milford和Wyeth 2008)。MD-CAN通过更新神经活动进行操作。与大多数神经网络不同，它不会改变加权连接的值(Milford和Wyeth 2010)。MD-CAN中的每个神经单元在0到1之间有一个连续的激活值。当机器人接近空间位置时，相关神经单元的激活值增大。它们的性质与传统的SLAM算法中常见的概率表示有显著的不同。在本研究中，二维的MD-CAN和三维的MD-CAN分别用来表示多层头部方向单元模型和三维网格单元模型。
4 Our approach: NeuroSLAM
在本节中，我们将详细描述NeuroSLAM系统的架构和组成部分：连接位姿细胞模型、多层经验地图和视觉模块（the conjunctive pose cell model, the multilayered experience map and the vision module）。在对系统进行了概述之后，给出了三维网格单元和多层头部方向单元的详细计算模型，以及它们的网络操作过程，包括吸引子动力学、路径集成和局部视图校准。然后，我们描述了多层次的经验地图创建和放松过程（creation and relaxation processes）。本节最后描述视觉系统提供外部视觉线索和自我运动线索。NeuroSLAM的代码可以在https://github.com/cognav/neuroslam.git上找到。
4.1 Architecture 架构
NeuroSLAM系统的结构如图1所示。机器人在三维环境中的4DoF姿态(x, y, z, yaw)状态由三维网格网格网络和多层头部方向网格网络中的活动联合表示。连接位姿元网络在自运动线索的基础上进行路径整合，并在局部视觉线索的基础上进行标定。基于局部视元、连接位姿元和三维视觉测程相结合的方法，实现了多层图形经验图的生成和松弛。整体主程序的算法见算法1(在线附录)。
我们根据自运动线索更新连接位姿细胞的MD-CAN活性。当看到熟悉的场景时，该活动通过本地视图线索进行校准。环绕连接将MD-CAN的每个边界连接到其相反的边界。路径整合在MD-CAN中通过向连接位姿细胞注入活性来完成。因此，当前的活动包根据3D视觉测程进行移位。如果提示是熟悉的，外部视觉提示激活局部视区。激活的局部视细胞通过联想学习将该活动注入特定的连接位姿细胞。局部视图和自运动线索是从连续的图像中产生的，这些图像是用透视或全景相机收集的。
使用多层经验图表示三维空间经验。一种特殊的三维空间经验是由一组来自局部视图单元、多层头部方向单元、三维网格单元和自运动线索的信息组成的连接码编码的。我们定义了一个单独的三维空间经验的活动模式在局部视图细胞和连接姿势细胞。当模式改变时，我们创造了一种新的3D空间体验。同时，也创造了一个从旧经验到新经验的新过渡。转换包含了两种体验之间的4DoF姿态的变化。当机器人在一个新的环境中移动时，会不断形成新的三维空间体验和过渡。当机器人重新访问一个熟悉的环境时，如果连接代码与之前存储的代码相同，则会发生循环关闭。为了保持拓扑一致性，还进行了多层映射松弛。
以下部分分别描述了三维网格网格网络、多层头向网格网络和多层经验图的计算过程。描述了视觉系统的估计过程
4.2 Conjunctive pose cell model 联结位姿细胞模型
我们使用由三维网格单元和多层头部方向单元组成的连接位姿单元来表示一个四自由度的位姿(x, y, z, yaw)。为了提高计算效率，降低系统复杂度，我们对神经网络模型进行了简化。我们没有建立一个三维空间单元模型。空间单元的功能特征编码在三维网格网格网络和三维体验地图中。3D位置(x, y, z)由3D网格单元使用3D MD-CAN表示。方位(偏航)是由多层头方向单元使用2D MD-CAN表示。在本研究中，我们没有考虑俯仰和横摇。我们将在下面的章节中详细描述三维网格单元模型和多层头部方向单元模型。
4.2.1 3D grid cell mode
三维网格细胞网络是一个三维的MD-CAN。它模拟了哺乳动物大脑中的三维空间神经表征，如图2所示。该模型类似于Jeffery et al.(2015)和Kim and Maguire(2019)的FCC (facecenter cubic)模型。
三维网格单元表示三维空间中的绝对位置(x, y, z)。活动矩阵Pgc描述三维网格单元中的活动。我们基于三个关键流程更新活动。首先，通过激发和抑制吸引子动力学来更新活性。然后，根据三维视觉测程法提供的平移速度和旋转速度，通过三维路径积分对活动包进行移位。最后，当机器人看到熟悉的场景时，通过局部视图校准来更新活动。
Attractor dynamics
三维模型的内部吸引子动力学过程包括三个阶段。首先，局部的兴奋过程激活部分三维网格细胞。然后，所有的三维网格细胞都被全局抑制过程所抑制。最后，对三维网格单元的活动进行归一化处理。
。。。
4.2.2 Multilayered head direction cell model
多层头向细胞网络是一个MD-CAN网络。模拟哺乳动物三维方向认知的神经机制，如图3所示。该模型类似于Samsonovich和McNaughton(1997)以及McNaughton等人(2006)的头部方向单元模型。MD-CAN能够在三维空间中维持机器人的头部方向。每个神经元负责在特定的垂直区域映射特定的方向(yaw)。Finkelstein et al.(2015)发现有代表方位角、俯仰、方位角x俯仰的细胞，并提出了一种用于建模三维头部方向细胞的环形模型。然而，为了有效地表示4DoF位姿，我们使用多层头部方向模型来表示三维垂直空间中的方位角。头方向单元与用于方向校准的局部视图单元相关联。多层头部方向网络的算法见算法3(在线附录)。
。。。
4.3 Multilayered experience map 多层经验地图
多层经验地图是一种拓扑图形地图。它包括许多三维空间体验，Ei。过渡，T，连接相关的经验。经验的创造是由局部视图单元、三维网格单元和多层头部方向单元中的活动驱动的。
。。。
4.4 Vision module 视觉模块
局部视觉线索和自运动线索由视觉系统提供，如图6所示。我们将Milford和Wyeth(2008)的方法扩展到平移和旋转速度估计以及视觉模板匹配。aidvo是一种基于平均强度差的三维视觉测程技术，它通过比较一组连续的图像来实现。这个过程不适合不受限制的运动在6DoF，但足够的运动方案提出这里。我们现在还采用了更少限制的视觉测程技术，包括VINS-mono(视觉惯性测程)(Qin等，2018)。
网友评论