作者丨叶小飞

编辑丨极市平台

导读

本篇文章提出了首个大型自动驾驶协同感知数据集， 并提供了多达16个模型的综合Benchmark以及一套完整的代码框架，为协同感知这个新领域提供了基准。

单位：UCLA Mobility Lab

论文链接：https://arxiv.org/pdf/2109.07644.pdf

代码链接：https://github.com/DerrickXuNu/OpenCOOD

项目主页：https://mobility-lab.seas.ucla.edu/opv2v/

1．研究动机

得幸于深度学习猛烈的发展，自动驾驶感知系统在近几年有了飞速的提升。尽管如此，单车的感知系统仍有其无法克服的困难。当自动驾驶汽车在遇到严重的遮挡或距离较远的物体时，往往不能有很好的表现。这种情况往往是由单车传感器在遮挡处或是远处信息太稀疏导致的，很难被算法克服。针对这种单车物理上的限制，工业界和学术界开始研究如何利用多车之间的视觉信息传递来彻底解决遮挡问题并增加感知视野。如图一所示，ego汽车（绿色框）正在一个T型的交叉口准备左转，此时正有两辆车向它这个方向快速驶来，但是由于停在路边的汽车，它的激光雷达根本无法感知到这两辆驶来的汽车（如图一中间所示），很可能会造成重大事故。但幸好此时有另外一辆自动驾驶汽车在另一侧经过（图一左被蓝色方框标出的CAV1），它能很好地捕捉到这两辆驶来汽车的信息（图一右所示），并且将该信息传递给ego, 从而避免车祸的发生。

由这个例子便可以看出协同感知能够极大提高自动驾驶在边缘场景的安全性，而本篇文章便提出了首个大型自动驾驶协同感知数据集， 并提供了多达16个模型的综合Benchmark以及一套完整的代码框架，为协同感知这个新领域提供基准。

2. 数据集介绍

本文提出的OPV2V数据集是首个大型公开的V2V协同感知仿真数据集，它主要由最流行的自动驾驶仿真器CARLA以及协同驾驶仿真框架OpenCDA联合收集，主要特点有：

• 该数据集共有73个不同的场景，每个场景在25s内并且有多辆自动驾驶汽车+趋近真实的交通流出现，在相同的时间戳下包含着多辆自动驾驶汽车的3D点云与相机RGB数据。

• 本数据集囊括了6种道路类型，9个不同的城市，其中8个是CARLA自带的城市，1个是根据洛杉矶Culver City接近百分百复原的数字城市与真实交通流（如图二所示）。

• 数据供含有1.2万张点云，4.8万张RGB图像，23万个标注好的3D检测框。

• 提供了一个包含4种不同点云检测Backbone, 4种不同多智能体信息融合策略，总共16个模型的综合benchmark。

3. Benchmark 介绍

该数据集提供了4种不同点云检测backbone, 4种不同多智能体信息融合的策略。四个点云检测器包含：PointPillar, SECOND, VoxelNet和 Pixor。

而四种融合方式有：1）单车无融合（基准线）;  2）点云融合，即每辆汽车传送最原始的点云给对方; 3）结果融合（后融合），即每辆汽车单独检测，将自己的检测结果包括检测框位置与置信度传给其他汽车;  4)中间层融合，如下图所示，每辆汽车先将自己的点云投射到ego汽车的坐标系下，预处理点云后用3D点云网络提取深度学习特征，这些高维的特征经过压缩以后传到ego汽车上，然后使用注意力机制来进行点对点的多车空间维度上的融合，最后得到检测结果。该文章认为中间层融合是最优方案，因为点云融合要求带宽较高，速率较慢，结果融合并不能最大限度地结合信息，而中间层融合由于深度学习特征对压缩的鲁棒性，可以同时克服另外方案的缺点。

最终的结果如下图：

4. 代码框架介绍

该文章除了数据集与benchmark之外，还开源了首个协同感知代码框架 OpenCOOD (https://github.com/DerrickXuNu/OpenCOOD。该代码框架的主要特征有：

• 提供了一套简易易用地API，方便用户读取OPV2V数据并转化为相应的格式供pytorch模型直接使用。

• 提供了多个SOTA 3D点云检测模型代码，包括PointPillar, VoxelNet, Pixor, SECOND

• 支持多种常见地多智能体融合策略，包括后融合，前融合，中间层融合。

• 提供多种协同感知SOTA模型，包括Cooper, F-Cooper, Attentive Fusion (本文的中间层融合方法)等，并且作者承诺会持续更新所有市面上的最新算法

• 提供使用的log replay工具来回放OPV2V数据，并支持用户在不改变原数据的基础上增加新事件。

• 代码库还提供了详细的文档和tutorial, 方便用户更好理解。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~