由于基础设施的（infrastructure-based）传感器安装位置和姿势的灵活性，基于基础设施的目标检测和跟踪系统可以增强联网车辆的感知能力。

一、基于基础设施的感知系统

基于基础设施的目标感知系统包含四个典型阶段：1）信息收集； 2）边缘处理； 3）云计算； 4) 信息分发。

1.信息收集：安装在路边的基础设施上的传感器感知环境，收集到的数据通过通信集线器传输到路边服务器进行进一步处理。
2.边缘处理：从路边传感器收集的信息在路边服务器上进行处理。(在一些配备高速互联网以允许大容量低延迟数据传输的系统中，原始数据也可以传输到云端进行处理。 )
3.云计算：感知数据通过无线通信传输到云端。对于多节点感知系统（同时从不同位置感知环境），需要考虑时间对齐（延迟补偿）和对象关联，以实现时空信息同步。
4.信息分发：1）对于没有无线连接的传统道路使用者，感知信息可以传送到路边的终端设备，例如通过交通管理中心 (TMC) 作为动态消息标志或交通信号灯的信号头显示；2）对于通过无线通信连接的道路用户，可以通过无线通信接收感知信息。

三、路边传感器

用于基于基础设施的感知的不同传感器的性能对比：

操作流程Operational Pipeline

基于路边传感器的目标检测流程分为单传感器和多传感器两大类：

从传感器收集的数据首先经过预处理，然后使用数学模型（基于传统方法）或通过神经网络（基于深度学习）进行特征提取，然后由感知模块生成目标检测和跟踪结果，最后将结果传给后处理模块以进一步清理感知输出（过滤重叠的边界框和分数低于阈值的预测）。

基于传感器融合的阶段，多传感器感知系统分为三类：

Early Fusion——在预处理阶段融合原始数据；
Deep Fusion——在特征提取阶段融合特征；
Late Fusion——在后处理阶段融合感知结果。

Early Fusion 和 Deep Fusion 具有融合精度的优势，但需要更多的计算能力和复杂的模型设计。Late Fusion可以实现更好的实时性能，但会牺牲准确性。

六、数据集和模拟器

6.1 通用数据集

几个广泛使用的自动驾驶数据集：
• KITTI：最流行的数据集之一，它包含数小时的交通场景，记录了移动机器人和自动驾驶的各种传感器模式。
• NuScenes：第一个携带完整自动驾驶车辆传感器套件的数据集：6 个摄像头、5 个雷达和 1 个 LiDAR，均具有完整的 360 度视野。
• Waymo 开放数据集：一个大规模、高质量、多样化的数据集，包含在一系列城市和郊区地理中捕获的 1150 个场景。

6.2 路边数据集

BAAI-VANJEE Roadside Dataset：由路边数据采集平台采集的 LiDAR 数据和 RGB 图像组成，包含 2500 帧 LiDAR 数据、5000 帧 RGB 图像，包括 12 类对象、74K 3D 对象注释和 105K 2D 对象注释.

6.3 模拟器

为了促进自动驾驶的发展，一些基于游戏引擎的模拟器被开发，以为算法设计和评估提供了一种经济有效的方式，例如 CARLA、SVL 和 AirSim。这些模拟器是开源的，带有详细的教程，并能够提供高分辨率、高保真传感器数据，例如各种相机和激光雷达。

七、讨论

7.1 挑战

很少有人提出基于多路边传感器的感知系统，关键挑战是多个传感器组合的融合方案和相关的高效融合方法。
数据采集和注释，以促进基于基础设施的感知系统的深度学习研究。
处理通信延迟引起的同步问题是大规模实施的关键问题。

7.2 未来趋势

多传感器融合：基于多传感器的感知系统可以通过互补传感器数据和适当的融合技术来提高感知性能。基于基础设施的感知系统对多传感器设备具有更灵活的条件，能够访问高计算边缘服务器。
协同感知：单节点感知无法解决物理遮挡问题，从多个节点感知环境能够减轻遮挡的限制。
轻量化车载单元：为每辆车配备高性能感知计算系统的成本可能非常高。由于高速无线通信技术的快速发展，为局部感知系统配备轻型车载设备，并从基于基础设施的高性能节点接收数据，可以实现更广泛的感知且成本更低。

Infrastructure-Based Object Detection and Tracking for Cooperative Driving Automation: A Survey相关推荐

笔记：A Novel Representation of Parts for Accurate 3D Object Detection and Tracking in Monocular Images
A Novel Representation of Parts for Accurate 3D Object Detection and Tracking in Monocular Images 20 ...
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
点云 3D 目标检测 - CenterPoint: Center-based 3D Object Detection and Tracking - 基于中心的3D目标检测与跟踪(CVPR 2021) ...
论文精度笔记(五)：《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
作者单位:港大, 同济大学, 字节AI Lab, UC伯克利文章目录论文以及源码获取论文题目参考文献 1. 研究背景 2. 贡献 3. 相关工作 3.1 DSConv 3.2 MBConv 3 ...
论文阅读：Saliency-Guided Region Proposal Network for CNN Based Object Detection
论文阅读:Saliency-Guided Region Proposal Network for CNN Based Object Detection (1)Author (2)Abstract (3 ...
Center-based 3D Object Detection and Tracking
参考Center-based 3D Object Detection and Tracking - 云+社区 - 腾讯云摘要三维物体通常表示为点云中的三维框. 这种表示模拟了经过充分研究的基于图像 ...
论文解读《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
论文:Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model 基于CNN的目标检测模 ...
详解自动驾驶仿真框架OpenCDA: An Open Cooperative Driving Automation Framework Integrated with Co-Simulation
本文介绍一款同时支持协同驾驶开发与测试.自动驾驶全栈开发和 CARLA-SUMO联合仿真的开源框架 OpenCDA,论文已收录于 ITSC 2021.主要feature有: 支持CARLA-SUMO ...
Paper Reading- Center-based 3D Object Detection and Tracking (Based: KITTI)
Background 3D的对象为了表示BBox(Bounding box),一般都是立体的.这种方法是模仿了2D中检测的方法.在传统的方法中,一般使用anchor.本文讲2D检测中的一篇十分经典的文 ...
立体视觉跟踪(一)：Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
一.ego-motion的概念总览 ego-motion 指的是相机自身的运动,具体描述为相机与其所感知的环境的相对运动.ego-motion的概念常出现于机器人或者自动驾驶汽车的状态估计中.因相机 ...

Infrastructure-Based Object Detection and Tracking for Cooperative Driving Automation: A Survey