点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

标题：UPSLAM: Union of Panoramas SLAM

作者：Anthony Cowley, Ian D. Miller and Camillo Jose Taylor

来源：ICRA 2021

机构：University of Pennsylvania， GRASP Lab

编辑：张海晗

审核：李璟

摘要

大家好，我们今天要介绍的文章是来自ICRA2021的UPSLAM，联合全景SLAM。这篇文章对基于全景深度图像的映射进行了实证研究。该系统利用全景图像有效地捕获了由旋转激光雷达传感器拍摄的距离测量值，在数千万立方米的广阔范围内记录了几厘米数量级精度的细节。数据分为六种不同的环境：在实验室空间周围以步行的速度利用便携式传感器提取；以跑步速度在校园环境中提取；在小型轮式车辆上设置传感器；利用无人机在森林上空飞过；设置在有腿机器人的背部在地下煤矿中提取；安装在公共道路上行驶的汽车车顶提取数据。完整的3D地图是在嵌入式NVIDIA Jetson AGX Xavier系统上在线构建的，平均更新时间不到10ms。该系统的灵活性，通过在相同的建图软件上运行这些数据得以证明。

主要工作与贡献

目前SLAM需要应对的技术挑战主要来自于以下因素：1.运动传感器的移动速度（快速/缓慢）。2. 地面是平坦还是崎岖，或者是在空中。3. 几何或外观上目标环境是否能提供足够的基本特征（如平面，角，纹理等）。4.性能的优劣（如计算效率，系统的灵活性等）。这篇文章研究了一种新的SLAM方法，该方法旨在利用尽可能多的范围数据，通过将其应用于人的步行/跑步，小型轮式机器人平台，腿式机器人平台，空中机器人平台和空中机器人携带的传感器收集的数据上证明了这个系统的鲁棒性。这个系统在地下隧道到野生森林再到公共道路的环境中都很适用。这篇文章还量化了系统的性能，展示了0.05%的轨迹长度的轨迹误差，能够在15W的功率预算内运行。在这项工作中，环境被表示为一系列全景深度图，利用基于2D数组的表示法来表示局部地图。系统的实现能够有效地利用这种表示来提供常规内存访问并并行运行。因此，即使在嵌入式GPU平台上，它的运行速度也非常快。该系统可以利用所有可用的范围测量并减少测量时对特征进行过早的决策。

算法流程

1. 总览

UPSLAM将地图表示为一张图，其节点是全景深度图像，并增加了表面法线估计，和其边缘上这些深度图像关键帧之间的三维变换。关键帧的分辨率和范围可能与原始传感器数据不同。这里作者使用比传感器捕获更宽的关键帧垂直视场进行操作。系统跟踪当前的关键帧，该关键帧随着每次新的激光雷达扫描而更新。此处描述的实验是使用Ouster OS1-64激光雷达进行的，其中覆盖33度垂直视场的64个激光器阵列以10Hz的频率绕轴扫描，IMU以100Hz的频率提供加速度计和陀螺仪测量。深度图和法线估计图如下图所示：

数据的获取：由于在快速运动的数据获取中，激光雷达扫描的100ms周期可能包括有效的传感器运动。所以，在随后的的数据处理中，该系统则搜索从单次扫描导出的3D点和模型点集之间的刚体变换。通过使用高频惯性测量，将所有距离测量值旋转到单个时间点的旋转坐标系，可以缓解在不同传感器位姿收集的点应用单个变换之间的张力。基于IMU和激光雷达计时数据的旋转在CPU上计算，而接下来的几乎所有内容都在GPU上计算。由这种IMU运动校正产生的点被投影到全景图像中。图像结构有助于计算粗糙表面法线估计，并作为由中心点定义的向量与其两个相邻图像坐标之间的叉积。将这些表现在图像的平面法线估计时有很多噪声，可以使用边缘敏感平滑算法进行有效的平滑处理。

运动估计： 运动估计部分使用具有点到面误差度量的ICP将每个传入的深度和表面法相矢量全景图配准到当前的关键帧。公式如下：

在这里，作者定义了一个三维 变换矩阵 T，当将对应点之间的向量投影到第一个点的法向量 N(s1) 上时，它可以最小化了从投影对应集 C 中绘制的每对点之间的距离。相似性滤波器 Ω 被应用于对应集以排除那些两点之间的距离 d 大于某个阈值的点对。当它们相关联的表面法向量估计之间的角度 θ 太大时.这种方法可以用 GPU 有效地执行。扫描的表面法线估计可能会被 à trous 过滤器稍微过平滑处理一些，但这种平滑性有助于优化收敛。每次扫描都会更新关键帧表面法线估计，从而恢复因平滑而丢失的一些细节。建图系统稳健的一个关键因素是在此优化中包含了多少点。图 2 显示了典型实验随时间变化的有效点数，其中本文的有效性概念定义为从有效范围估计得出的点（传感器不会在每次扫描中返回每个像素的测量值），以及强度高于小阈值（这会排除那些基于非常少的接收光的点的范围估计）。在图中的示例中，传感器从隧道中的墙壁附近开始，但一旦它出现在露天位置，就会以 10Hz 的扫描速率使用 40,000到 50,000 个点。

关键帧的更新：优化的变换为最终的一组投影对应提供了基础，其中每个关键帧像素都被投影到扫描深度图像上。与 ICP 优化一样，相似性过滤器用于确定是否应将新扫描数据平均到关键帧像素中。更新关键帧时使用加权平均值：每个关键帧像素跟踪已纳入其中的样本数量，该数字（在本文的系统中为 10）用于确定平均过程的权重。当整体考虑时，这种平均方案的简便性被地图表示中使用多个关键帧所抵消。移动对象可以在单个关键帧内平衡平滑和响应性，但考虑到多个关键帧会重建一种 3D 占用的潜在多假设模型（这是从地图中过滤移动对象的有效工具），每次切换关键帧时，UPSLAM都会在运行时由UPSLAM执行关键帧之间的一致性检查，以减少移动对象的影响。更新后，将决定是否继续使用当前关键帧。如果配准质量（定义为扫描中 ICP 配准内点与有效深度测量值的比率）已降至可配置阈值 1 以下，则会寻找新的关键帧。首先查找姿势图以识别与当前姿势估计最接近的关键帧，以检测潜在的闭环。由于这些闭环配准可能在有效漂移的影响下发生，因此本文进行了网格搜索，其中使用低分辨率投影对齐检查评估数百个变换。通过此搜索找到的最佳候选点对将升级为全分辨率ICP配准。如果配准质量高于创建新关键帧的阈值，则使用当前关键帧和相邻帧之间的边来更新位姿图，然后该相邻帧成为新的当前关键帧。否则，如果该比率高于新关键帧内点比率的 75%就使用根据配准计算的变换更新位姿图的话，则很难更新当前关键帧。我们将它们称为强闭环和弱闭环，两种变体都提高了地图的全局精度，但强闭环还减少了重新访问某个位置时创建的关键帧的数量。姿态图结构反映在 GTSAM  中，用于全局优化 CPU 上的关键帧间转换。最后，使用 IMU 数据上的互补滤波器来保持地球重力矢量的平滑估计，该估计会附加到每个关键帧上。对这种共享现象的观察有助于最大限度地减少俯仰误差的影响，鉴于传感器的垂直视野有限，这种俯仰误差影响是比较常见的影响。

主要结果

在实验室内步行的建图结果在室外跑步的建图结果在农场内利用轮式小车的建图结果在地下矿场内利用腿式机器人的建图结果在森林里利用无人机的建图结果在汽车上的公共道路重建结果在 NVIDIA Jetson AGX Xavier 上以不同的关键帧分辨率和计算机功率限制计算 SLAM 更新的时间的内核密度估计。

点击阅读原文， 即可获取本文下载链接。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~