自动驾驶的“天眼”！聊一聊高精地图领域中所有主流的制作方案

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨汽车人

来源丨自动驾驶之心

1自动驾驶中的高精地图生成技术

在过去几年中，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自主的道路上，研究人员利用了各种传感器，如激光雷达、相机、惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测、目标分割、障碍避免和路径规划。近年来，高清晰度（HD）地图引起了广泛关注。由于高清地图在定位中的高精度和信息水平，它立即成为自动驾驶的关键组成部分。从百度阿波罗（Baidu Apollo）、英伟达（NVIDIA）等大型组织到个人研究人员，已经为自动驾驶的不同场景和目的创建了高清地图。有必要回顾高清地图生成的最新方法，论文主要回顾了利用2D和3D地图生成的最新高清地图生成技术，介绍了高清地图及其在自动驾驶中的用途，并给出了高清地图生成技术的详细概述。除此之外，还讨论了当前高清地图生成技术的局限性，以推动未来的研究。

2什么是高精地图？

高清地图包含自动驾驶所需的道路/环境的所有关键静态属性（例如：道路、建筑物、交通灯和道路标记），包括由于遮挡而无法由传感器适当检测到的目标。近年来，用于自动驾驶的高清地图以其高精度和丰富的几何和语义信息而闻名。它与车辆定位功能紧密连接，并不断与不同传感器（包括激光雷达、雷达和摄像机）交互，以构建自主系统的感知模块，如下图所示：

在自动驾驶市场上没有独特的标准高清地图结构。然而，市场上有一些常用的高清地图结构，如导航数据标准（NDS）、动态地图平台（DMP）、高清实时地图和TomTom。大多数结构共享类似的三层数据结，下表显示了由TomTom和Lanelet（Bertha Drive）定义的三层结构化高清地图。

第一层“道路模型”定义了道路特征，如拓扑、行驶方向、高程、坡度/坡道、规则、路缘/边界和交叉口。它用于导航。第二层，车道模型，定义车道级别特征，如道路类型、线路、道路宽度、停车区域和速度限制。该层用作自动驾驶的感知模块，根据实时交通或环境做出决策。顾名思义，最后一层定位模型在高清地图中定位自动车辆。该层包含道路设施，如建筑物、交通信号、标志和路面标记。这些功能有助于自动车辆快速定位，尤其是在具有丰富特色的城市区域。

3高精地图的数据采集

数据源/收集是生成高清地图的第一步。使用移动地图系统（MMS）进行数据收集，MMS是一种配备地图传感器的移动车辆，包括GNSS（全球导航卫星系统）、IMU、激光雷达（光探测和测距）、相机和雷达，用于收集地理空间数据。

商业化高清地图提供商采用众包方式收集数据，以构建和维护其高清地图。Level5与Lyft合作，沿加利福尼亚州帕洛阿尔托的固定路线发送了20辆自动驾驶汽车，以收集由170000个场景组成的数据集，一个包含15242个标记元素的高清语义地图，以及一个该区域高清的鸟瞰图。TomTom通过多源方法收集数据，包括调查车辆、GPS跟踪、社区输入、政府来源和车辆传感器数据，这里利用了全球400多辆地图车辆、政府数据、卫星图像和社区输入，不断获得最新的道路信息。通过众包收集数据可以在很短的时间内收集大量最新的道路/交通数据。众包数据还包含不同的环境，包括城市、城镇和农村地区。然而，由于多个移动地图系统的高成本和数据收集的时间消耗，该方法不是单个研究人员的最佳解决方案。个别研究人员还利用MMS收集数据，他们不是收集世界各地不同类型环境的数据，而是关注规模更小的区域，例如城市，大学校园或住宅区。收集的数据出于研究目的，类型也更加具体。

此外，还有大量开源数据，如卫星图像、KITTI数据集、Level5 Lyft数据集[4]和nuScenes数据集，供研究人员进行测试和生成高清地图。这些数据集包含2D和3D真实世界交通数据，包括图像、3D点云和IMU/GPS数据，这些数据已经组织和标记，地图数据的收集方法与优劣如下图所示：

4点云高精地图生成

一旦收集到初始传感器数据，通常会对其进行融合和排序，以生成初始地图，主要用于精确定位。初始mapping主要使用3D激光传感器生成；然而，它可以与其他传感器融合，如IMU、GPS、里程计和视觉里程计，以便在高清地图中进行更精确的状态估计。INS和GPS传感器提供方位和位置信息，以在厘米精度范围内更新地图位置。这些点云地图已经非常精确，可以帮助车辆在3D空间厘米级进行精确定位。随后，在mapping获得点云配准之后，从PCL映射创建矢量映射。点云配准被称为对齐多个重叠点云以生成详细和准确地图的多步骤过程（如下图所示）。

矢量地图包含与车道、人行道、十字路口、道路、十字路口、交通标志和交通灯相关的信息。这一关键特征后来被用于检测交通标志和信号灯、路线规划、全局规划和局部路径规划。毫无疑问，地图生成是高清晰度地图生成的一个组成部分，它可以定义为HD地图的基本几何图形图层。

建图技术

地图生成技术可分为在线地图和离线地图。离线映射数据全部收集在中心位置，数据使用卫星信息或激光雷达和摄像机存储的数据，然后地图在收集数据后离线构建。

另一方面，在线地图中地图生成使用轻量级模块进行，除了地图制作类型之外，还可以通过使用传感器或如何融合传感器对地图技术进行分类。

以下标测技术需要基于激光的传感器，因为它们在长距离下显示出良好的精度。大多测绘技术目前都使用激光作为主要传感器，用于测绘和完成高清晰度地图。另一方面，有一些方法仅使用视觉传感器来构建点云地图，存在为3D模型生成而开发的点云配准技术，下面是几种常用方法！

1）基于分割的点云配准

SegMap是一种基于点云中分割特征提取的映射解决方案，该方法通过重构要区分的局部特征来生成点云图。轨迹结果表明，与LOAM（激光测程和测绘）结合使用时，性能比仅使用LOAM框架更高。

2）仅基于激光雷达的点云建图

通过改进现有的点选择方法和LOAM迭代姿态优化方法，小视场和不规则采样的激光雷达方法已经实现了卓越的精度和效率，整体建图结构如下图所示：

[19]引入了一种快速环路闭合技术，以修复激光雷达里程测量和测绘中的长期偏移，[20]中的小视场分散式多激光雷达平台使用扩展卡尔曼滤波器进行鲁棒建图。此外，[21]中还有一种技术，在机器人的不同高度安装激光雷达，以生成点云。

3）里程计融合点云配准

当GPS不可用或断开连接时，融合里程计非常方便，主要是在室内。迭代最近点（ICP）方法使用6自由度信息来匹配给定点云中的最近几何体。这种方法的主要缺点是，它停留在局部最小值，需要一个完美的起点，导致误差和与实际环境的偏差增加[22]。NDTMap[23]、[24]生成是从点云[25]、[26]转换而来的连续可微概率密度，NDTMap的概率密度包含一组正态分布。它是一个体素网格，其中每个点基于其坐标分配给体素。将点云划分为体素云，然后对合并的体素进行滤波，以减少地图中的噪声，减少计算量。如果初始猜测中未使用里程计，则从每次NDT更新中得出状态估计，初始猜测来自基于运动模型的速度和加速度更新。当引入里程计时，位置更新基于里程计数据，特别是速度模型和方向更新。

4）GPS融合点云配准

GNSS中的绝对位置作为graph-based建图中的约束，以统一点云数据与坐标系[12]。因此，点云中的体素使用绝对3D坐标信息进行标记，LIO-SAM中也使用了基于激光雷达的里程计，用于精确的姿态估计和地图构建[13]。

5）INS融合点云配准

在不使用任何传感器的情况下，根据每次NDT更新计算车辆状态和偏航。使用速度和加速度导出基于运动模型的初始猜测。IMU为二次模型提供平移更新和方向更新。Autoware的NDT mapping技术[27]还提供了用于标测的IMU和里程融合。类似地，DLIO方法[28]通过使用松耦合融合和姿态图优化实现精确mapping和高速率状态估计，集成IMU以通过馈送IMU偏置来校正随后的线性加速度和角速度值来增强可靠性。FAST-LIO[10]和FAST-LIO2[11]是用于快速和精确测绘的激光雷达惯性里程计系统。该系统使用紧耦合迭代EKF（扩展卡尔曼滤波器）将IMU与激光雷达特征点融合。FAST-LIO2使用了一种新技术，增量kdTree，它提供了一种增量更新和动态再平衡来维持地图。

6）视觉传感器融合点云配准

R2-LIVE[29]和R3-LIVE[30]算法使用激光、惯性导航系统和视觉传感器的融合来进行精确映射和状态估计。R2-LIVE使用基于卡尔曼滤波器的迭代里程计和因子图优化来确认准确的状态估计。

R3-LIVE是两个独立模块的组合：激光雷达IMU里程计和视觉IMU里程测量。Global地图实现了激光雷达和IMU的精确几何测量。与IMU融合的视觉传感器将地图纹理投影到全局地图中。类似的两个子模块LIO和VIO也用于FAST-LIVO[14]中的稳健和精确建图。LVI-SAM使用与R3-LIVE类似的两个子模块进行设计。根据LVI-SAM[31]，视觉惯性系统利用激光雷达惯性计算来辅助初始化。视觉传感器提供深度信息以提高视觉惯性系统的精度。

下图展示出了使用现有建图算法生成的地图。有多种技术可以融合多个传感器以创建完整地图。视觉里程计（IMU和摄像机）、GPS和激光雷达数据被组合到一个超级节点中，以获得优化地图[32]。

下图展示出了使用不同方法从在线映射获得的轨迹路径，（a）是地图传感器数据的完整路径（安大略科技园区），展示出了来自记录数据的完整里程计数据。（b）和（c）是全轨迹路径的放大版本。该地面真实路径通过RTK-GPS和IMU数据的融合获得。这些分数表明R3-LIVE遵循地面实况路径，即RTK-GPS里程计。

5高清地图的特征提取方法

为了使ego车辆定位并遵循运动和任务计划，需要进行特征提取，如道路/车道提取、道路标记提取和杆状物体提取。特征提取传统上由人工完成，成本高、耗时且精度低。近年来，机器学习辅助的高清地图生成技术已经开发并广泛用于提高特征提取精度和减少人工工作量。机器学习辅助高清地图生成利用了人在回路（HITL）技术，该技术涉及人机交互[33]-[35]。人类进行数据标记，并使用监督学习对标记数据进行训练。具有高精度/置信度分数的结果将保存到高清地图，而具有低精度/置信率分数的结果则将由人类检查并发送回算法进行重新训练。机器学习已广泛用于提取道路/车道网络、道路标记和交通灯。

1）道路网络提取

a）基于二维航空图像的道路提取

道路地图/网络对于自动驾驶系统定位自我车辆和规划路线至关重要。从航空图像中提取路线图也很有吸引力，因为航空照片覆盖了广泛的地图，通常是城市地图，并通过卫星不断更新。然而，从航空图像手动创建路线图既费时又费力。由于人为错误，它也不能保证精确的路线图，因此，需要能够自动化路线图提取过程的方法。二维航空图像的自动道路网络提取可分为三种不同的方法：基于分割的方法、迭代图生长方法和图生成方法。

基于分割的方法从航空图像预测分割概率图，并通过后处理细化分割预测和提取图。Mattyus等人提出了一种直接估计道路拓扑并从航空图像中提取道路网络的方法[36]。在他们名为DeepRoadmper的方法中，他们首先使用ResNet的变体[37]将航空图像分割成感兴趣的类别，然后使用softmax激活函数以0.5概率阈值过滤道路类别，并使用发光提取道路中心线[38]。为了缓解道路分割的不连续性问题，他们将不连续道路的端点连接到特定范围内的其他道路端点。连接被视为潜在道路，此处应用A*算法[39]选择最短连接作为不连续道路，如下图所示：

为了提高基于分段的道路网络提取性能并解决[36]中的道路网络断开问题，[42]提出了方向学习和连通性细化方法。所提出的方法通过预测道路网络的方向和分割并使用n-堆叠多分支CNN校正分割结果来解决道路网络断开问题。该方法在SpaceNet[43]和DeepGlobe[44]数据集上进行了进一步评估，并与DeepRoadmper和其他最先进的方法[45]-[48]进行了比较，以显示其最先进的结果。

此外，Ghandorh等人通过在基于分割的方法中添加边缘检测算法，从卫星图像中细化了分割的道路网络[49]。所提出的方法使用了编码器-解码器架构以及扩展卷积层[50]和注意机制[51]-[54]，使网络能够分割大规模对象并更加关注重要特征。然后，通过将分割的道路网络馈入边缘检测算法，进一步细化这些道路网络，下图为基于分割方法的性能对比！

迭代图增长法

迭代图生长方法通过首先选择道路网络的几个顶点从2D航空图像生成道路网络。然后，逐点生成道路，直到创建整个道路网络。Bastani等人从深度路线图中注意到了同样的限制。当道路分割存在不确定性时，启发式算法表现不佳，这可能是由遮挡和复杂拓扑结构（如平行道路）引起的[48]。基于CNN的道路分割在遮挡区域增加时表现不佳，遮挡区域从树木、建筑物和阴影中升起。现有方法[36]、[55]没有解决此类问题的固溶体。Bastani等人提出了一种新方法RoadTracer，以解决上述问题，并从航空图像中自动提取道路网络[48]。RoadTracer采用迭代图构建过程，旨在解决遮挡导致的性能不佳。道路追踪器具有由基于CNNs的决策函数引导的搜索算法。搜索算法从道路网络上的已知单个顶点开始，并随着搜索算法的探索不断向道路网络添加顶点和边。基于CNN的决策函数决定是否应将顶点或边添加到道路网络。这样，通过迭代图生长方法逐点生成道路图，迭代图增长方法如下图可视化所示：

在15张城市地图上对道路跟踪方法进行了评估，并将结果与DeepRoadmper和Bastani等人实施的另一种分割方法进行了比较。与最先进的方法DeepRoadmper相比，RoadTracer可以生成更好的地图网络结果。迭代图构建过程的一个缺点是生成大规模道路网络的效率，由于该过程逐点创建道路图，因此随着道路网络规模的增长，该过程将变得耗时。

图生成方法

图生成方法直接从航空图像预测道路网络图，该方法将输入的航空图像编码为向量场，用于神经网络预测。然后通过解码算法将预测解码成图。该方法已用于预测道路网络图，包括线段[56]、线形对象[57]和多边形建筑物[58]。在图形生成方法的基础上，Xu等人将图形生成方法与transformer[59]相结合，提出了一种新的系统，名为csBoundary，用于自动提取道路边界，用于高清地图标注[60]。csBoundary系统首先将4通道空间图像作为输入，它通过特征金字塔网络（FPN）处理图像，以预测道路边界的关键点图和分割图。从关键点图中提取一组长度为M的顶点坐标，将关键点图、分割图和输入空间图像组合起来形成6通道特征张量。对于每个提取的顶点