Cooperative Perception协同感知学习记录

1. 首先介绍一篇不错的Revision文章：Deep Multi-modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges (2020)

作者

Di Feng, Christian Haase-Sch¨utz, Lars Rosenbaum, Heinz Hertlein, Claudius Gl¨aser, Fabian Timm, Werner Wiesbeck, Klaus Dietmayer，来自罗伯特博世汽车公司的科研团队（Corporate Research of Robert Bosch GmbH）

论文介绍

这篇论文详细归纳总结了近些年的基于深度学习的2D、3D目标检测以及相关的传感器融合（单机位）方法，并且整理了相关的数十个数据集，最终总结了这个领域目前的挑战以及问题。
本篇论文的介绍将按照论文原始的结构顺序进行。

自动驾驶中可以进行融合的传感器信息：

1. 光学和热成像相机
   光学相机：可以提供详细的纹理特征、外貌特征信息。受环境影响大，很容易受到例如光照的影响，鲁棒性欠佳。
   热成像相机：不受光线影响，可以提供物体的轮廓信息。但是与光学相机一样没用图像深度信息。
2. LiDAR与点云
   可以准确的提供深度信息和3D点云信息。但是无法捕捉物体的纹理特征信息，并且对于远距离物体，点云成像效果差。
   结合之前的工程经验，彩色点云或许可以解决物体纹理信息缺失的问题，但是与此同时对相机的成像效果质量要求较高，否则纹理信息也难以准确捕捉。
   工业和实际应用中常见的问题：双目相机标定误差导致的成像偏差，飞点，强光下反光位置点云缺失。
3. 雷达
   在各种环境下都有较强的鲁棒性，但是因为分辨率太低，难以进行目标分类。
4. 超声波
   可以用于近场物体检测，适用于低速环境例如自动泊车。但是受空气质量影响较大，例如沙尘，湿度，雨水都可以造成影响。
5. GNSS（全球导航卫星系统）和高清地图信息
   通过卫星定位获取车辆及其他物体的定位信息。不适用于实验室环境。
6. IMU（惯性测量单元）和里程表
   主要用于记录车辆内部的信息而不是外界环境的信息。

作者总结的相关数据集

作者再此论文中列举了和归纳了数十种数据集，并且也归纳了各个数据集所拥有的传感器数据，以及发布时间，标签类别，大小，物体种类，以及对应的链接，如下图所示。
其中KITTI为最经典的自动驾驶场景数据集，但是局限性大：只在一个城市拍摄的所有照片，只有晴天日光环境数据，但是目前依旧是应用最多的benchmark数据集。

这些数据集里大多数是视觉与其他传感器的融合，纯视觉与纯其他传感器的只占少数。

传感器信息融合的关键问题

本文主要讨论的问题有三个：

1. What to fuse: 要对哪些传感器的数据进行融合，主流的融合信息有哪些
2. How to fuse: 融合的具体方法
3. When to fuse: 在检测的哪个阶段进行融合

What to Fuse

1. LiDAR点云信息
   处理点云信息有3种方式

   1. 将3d点云转换为3d模型体素化信息（相当于3d建模？），然后对体素化的点云进行学习和应用。
   2. 直接应用3d点云在空间中的位置信息。
   3. 把3d点云投影到2d特征图上进行学习。

2. 相机照片
   综合以上的1和2，现有的大部分方法都是整合RGB图片和LiDAR点云信息进行融合，主要有有以下几种方法进行整合：

   1. 将点云映射到2d平面，与图片一样经过深度网络处理，并整合处理后的特征。得到3d region proposal。
   2. 通过3d点云分割去得到3d region proposal。
   3. 将3d点云和RGB图片都映射到bird’s eye view平面，进行多传感器特征对齐。

3. 雷达信号信息
   可以被转换成2d特征图以被深度网络所处理。

How to Fuse

1. 特征图求和或者取平均
   将多个feature map逐元素求和或者求平均。
2. 连接
   将多个特征图拼接起来。
3. 组合
   主要用于ROI的融合。
4. Mixture of Experts
   以上几种融合方式没有考虑到各个传感器信息的权重问题，例如黑暗环境下图片所能提供的信息远远少于LiDAR，所以LiDAR的信息应当有更多的权重。此方法会自动对各个传感器的特征信息进行加权。

When to Fuse

主要分为三个融合阶段：

1. Early Fusion早期融合
   融合原始数据或者是简单预处理（标准化，归一化）的传感器数据。
   早期融合可以让网络更全面的学习到原始数据的组合特征信息，并且早起融合不会带来额外的运算负担，毕竟是把数据整合之后送到一个网络里面进行训练，参数量不会因此受到影响。
   但是早期融合可能会受到数据对齐的影响，导致训练效果变差。并且当更换一个传感器进行组合时，真整个网络需要被从头开始重新训练。

2. Late Fusion晚期融合
   晚期融合融合了多个网络的最终输出结果，例如置信度、3d目标框。
   网络更灵活，可以更改需要融合的信息。
   代价就是要分多个网络分别训练，成本更高。

3. Middle Fusion中期融合
   中期融合是一种早期+晚期的折中融合方式，可以理解为特征级融合，例如先经过backbone网络进行特征提取，之后将提取出的特征图进行融合，可以又有灵活性又不至于太高的资源占用。但是目前还没有一个很好很确定的方法和流程来进行这种特征级的融合，只能比较机械的拉直特征图之后进行How to fuse里面的这些操作，或者是很粗暴的直接将多个并列的模型输出到同一组全连接层里，而这个过程非常的intuitive，没有合适的理论依据。

作者总结的相关算法

领域的主要挑战与开放性问题

目前领域的挑战主要有以下几种

1. 没有特别统一的方法去进行传感器信息融合，还是需要去规定适用场景，目前的融合都是基于特定场景的实验。
2. 训练数据集数量偏少。
3. 场景信息不够多样性，难以全面覆盖各种情况，难以全面匹配自动驾驶所面对的复杂环境。
4. 数据集内标签标注错误。
5. 传感器数据时间空间上难以对齐，原文：Spatial and temporal misalignment of different sensors。
6. 传感器的种类比较少，只有有限的种类可以使用。
7. 特征级的融合和特征表达方式的相关研究很少，原文：Lack of studies for different feature representations。
8. 特征融合的操作太过粗暴简单，目前常用的就是拼接（Feature Map Concatenation）。
9. 不能为各个传感器的数据定量分析。例如阳光，下雨，雾霾，等外界环境的因素都会对识别到的信息进行影响，但是都难以定量去进行描述。
10. 在检测速度/检测质量、计算资源占用/鲁棒性的权衡问题上探讨的内容很少，相关研究还很不成熟。例如3D目标检测中为了实时快速检测，物体的3D成像必须被压缩，这就导致信息的丢失。
11. 多车协同、车路协同的多传感器数据传输速率、带宽、延迟也是一个很大的问题。目前有分布式计算和集中计算两种方式。
12. 传感器数据的正确性和可靠性问题也需要解决（TruePercept就是在尝试解决这个问题）。

2. 另一篇关于3D目标检测的Revision文章，A Survey on 3D Object Detection Methods for Autonomous Driving Applications

作者

Eduardo Arnold, Omar Y. Al-Jarrah, Mehrdad Dianati, Saber Fallah, David Oxtoby and Alex Mouzakitis。英国华威大学的科研团队Warwick Manufacturing Group (WMG)

论文介绍

这篇论文归纳总结了3D目标检测目前的一些方法。鉴于3D目标检测已经相对成熟，所以只对这篇论文做简单的描述。

2D目标检测与3D目标检测的对比

	优势	劣势
2D目标检测	数据集多且完善，可以实现准确的检测。	缺少深度，位姿信息
3D目标检测	3D目标框提供了更详细的物体位置信息，有助于更好的理解语义和周遭环境。	需要深度、位姿信息的辅助，数据标注困难，数据集少，运算量大。

几种目前主流的自动驾驶相关3D目标检测算法对比

	方法/贡献	限制
MV3D	本文主要介绍了一种名为Deep Fusion的融合方式，可以融合多种传感器的信息，最终结合鸟瞰和前视的激光雷达图以及2D单目相机图像进行车辆检测。	只能识别汽车，激光雷达对远处的物体识别能力差。
AVOD	相比于MV3D去掉了激光点云的前视图输入，在俯视图中去掉了强度信息。MV3D是改进的VGG16做特征提取，而AVOD使用的是FPN，它可以在保证特征图相对于输入是全分辨率的，而且还能结合底层细节信息和高层语义信息，因此能显著提高物体特别是小物体的检测效果。k可以做到识别行人、骑手、汽车。	只对车前面的物体比较有效。
F-PointNet	F-PointNet也同时利用了RGB图像与点云，但不同的是F-PointNet没有对两类信息分别处理（并行）并进行fusion，而是使用了2d-driven 3d object detection（串行）的方式进行检测。舍弃了global fusion，提高了检测效率；并且通过2D detector和3D Instance Segmentation PointNet对3D proposal实现了逐维(2D-3D)的精准定位，大大缩短了对点云的搜索时间相比于在BEV(Bird’s Eye view)中进行3D detection，F-PointNet直接处理raw point cloud，没有任何维度的信息损失，使用PointNet能够学习更全面的空间几何信息，特别是在小物体的检测上有很好的表现。	受到串行结构的影响，F-PointNet中3d box estimation的结果严重依赖于2d detection，并且RGB信息对整个结构是至关重要的。然而，图像受到光照以及前后遮挡的影响，会导致2d detector出现漏检的情况。而MV3D, AVOD等并行结构，RGB信息与点云信息之间是相辅相成，且RGB相较于点云更次要一些。只对车前面的物体比较有效，夜间检测效果较差。

以上是对这个领域的一个大体总结和概况，本文接下来将对一些特定的论文进行简单介绍。

基于纯点云的传感器融合

1. TruPercept: Trust Modelling for Autonomous Vehicle Cooperative Perception from Synthetic Data (2019)

作者

Braden Hurl, Robin Cohen, Krzysztof Czarnecki, and Steven Waslander

应用技术

Trust Modeling，3D目标检测，虚拟数据集，点云相机。

Motivation

现代的传感器融合模型都是建立在传感器的数据是绝对可靠和可信的，然而有时传感器的数据不一定正确，错误的数据可能反而会影响正确的识别结果，从而进一步影响最终的决策，所以判断数据来源的可靠性也是一个很重要的问题。

Contributions

1. 将传感器融合和信任建模(trust modeling)结合,实现了对数据来源可靠性的判断。
2. 制作了一个源于于GTA5的虚拟数据集，没有场景局限性，可以应用于多种场景。

项目地址

https://github.com/bradenhurl/TruPercept/tree/master/tru_percept

2. Cooperative Perception for 3D Object Detection in Driving Scenarios Using Infrastructure Sensors (2020)

作者

Eduardo Arnold, Mehrdad Dianati, Senior Member, IEEE, Robert de Temple , and Saber Fallah，英国华威大学的科研团队Warwick Manufacturing Group (WMG)。

应用技术

3D目标检测，虚拟数据集，点云相机。

Motivation

现存的大多数方法(majority of existing methods)使用的是单机位多类型传感器融合，会存在遮挡，感知距离近等问题, 于是使用多机位传感器来消除遮挡和探测距离有限的问题。

Contributions

1. 应用了早期融合、晚期融合对丁字路口和环岛路口进行了场景模拟和传感器融合实验，只利用了路边的固定传感器进行了数据融合，没有用到车载的传感器。
2. 制做了一个虚拟数据集，用于测试融合效果，这个数据集包含环形交叉路口和丁字路口两种情况。
3. 对早期融合和晚期融合两种方法进行了评估。
4. 对传感器硬件设备的参数设置进行了评估，为日后的实际落地提供方便和理论依据。

Conclusions and Results

1. 核心思想是设置一个centralized计算系统，可以处理多个传感器的数据，进行计算、融合之后再分发给附近的车辆。
2. 得出了“增加传感器数量能够显著优化识别效果”的结论。
3. 作者通过传感器感应区域的叠加来实现点云的增强。

3. Cooper: Cooperative Perception for Connected Autonomous Vehicles based on 3D Point Clouds 2019

作者

Qi Chen, Sihai Tang, Qing Yang and Song Fu. Department of Computer Science and Engineering, University of North Texas, USA。来自北德克萨斯州大学的科研团队。

应用技术

3D目标检测，稀疏点云检测，KITTI数据集，点云相机。

Motivation

单机位检测死角多，远处的感知信号弱，单机位传感器可能会产生错误的感知结果，这是第一个做车与车之间协同的raw data fusion的团队。

Contributions

1. 提出了一种稀疏点云检测的算法，可以对稀疏点云实行目标检测，并且也可以用于密集点云的情况。
2. 本系统可以撑过的延伸一辆车本身的感知范围
3. 证明了车与车之间传递ROI LiDAR数据的可行性。

4. F-Cooper: Feature based Cooperative Perception for Autonomous Vehicle Edge Computing System Using 3D Point Clouds (2019)

作者

Qi Chen, Xu Ma, Sihai Tang, Jingda Guo, Qing Yang, Song Fu. Department of Computer Science and Engineering, University of North Texas, USA。来自北德克萨斯州大学的科研团队。

应用技术

3D目标检测，稀疏点云检测，KITTI数据集，点云相机，特征级融合。

Motivation

单机位检测死角多，远处的感知信号弱，单机位传感器可能会产生错误的感知结果，这是第一个做车与车之间协同的feature level fusion的团队，现在的深度网络还没能完全提取出3D点云的特征信息，3D点云的raw data对于V2V的传输带宽来说太大了。

Contributions

提出了一个端到端的特征级融合的深度网络，并且更好的提取出特征图里的特征，使得在算力增加不高的情况下获得了显著的准确度提升。并且避免了数据传输量过大的问题。

基于视觉(+非视觉)的传感器融合

1. Cooperative Object Classification for Driving Applications

作者

Eduardo Arnold, Omar Y. Al-Jarrah, Mehrdad Dianati, Saber Fallah , David Oxtoby and Alex Mouzakitis。和上面华威团队的是一群人。

应用技术

多机位目标分类，多机位视觉信息融合，遮挡、噪声消除。

Motivation

3D目标检测相对于2D多机位来说会比较慢，本篇论文探究遮挡、噪声对于多机位2D目标分类的.

Contributions

1. 创建了一个3视角物体分类数据集。
2. 提出了几种视觉融合模型。
3. 对提出的几种视觉融合模型进行了分析与总结。

模型如下图

Cooperative Perception协同感知学习记录相关推荐

1. 详解协同感知数据集OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with V2V Communication

   在<详解自动驾驶仿真框架OpenCDA: An Open Cooperative Driving Automation Framework Integrated with Co-Simulati ...

2. 协同感知综述：从异质单体到分层合作

   论文标题:A Survey and Framework of Cooperative Perception: From Heterogeneous Singleton to Hierarchical ...

3. V2X-ViT：基于Vision Transformer的V2X协同感知

   论文标题:V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer 发表期刊/会议:ECCV 2022 ...

4. SyncNet：基于Latency-Aware 的V2V协同感知

   论文标题:Latency-Aware Collaborative Perception 发表期刊/会议:ECCV 2022 开源代码:https://github.com/MediaBrain-SJT ...

5. ICRA2022 | OPV2V: 首个大型自动驾驶协同感知数据集+代码框架已开源

   作者丨叶小飞 编辑丨极市平台 导读 本篇文章提出了首个大型自动驾驶协同感知数据集, 并提供了多达16个模型的综合Benchmark以及一套完整的代码框架,为协同感知这个新领域提供了基准. OPV2V: ...

6. MPDA：基于Domain Adaption的V2X协同感知（3D目标检测）

   标签:Domain gap:CP without sharing the model information:Intermediate Fusion:3D Object Detection: 论文标题 ...

7. Cooperative Perception in an Automotive Context 综述

   论文标题:Survey on Cooperative Perception in an Automotive Context 发表期刊/会议: IEEE Transactions on Intelli ...

8. 车联网环境下自动驾驶的协同感知技术综述

   论文标题:Cooperative Perception Technology of Autonomous Driving in the Internet of Vehicles Environment ...

9. 最新综述：自动驾驶的协同感知技术

   点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心技术交流群 后台回复[数据集下载]获取计算机视觉近30种数据集! arXiv综述论文&q ...

最新文章

1. 《数学建模：基于R》一一2.2　方差分析
2. 中文短文本相似度：WMD
3. gcc s.lds 使用方法
4. 织梦html编辑器有问题怎么办,dede 织梦编辑框显示不出来的问题
5. HDOJ 1224 Free DIY Tour
6. 在VMware虚拟机中进行Ghost网刻不成功的几点提示
7. [专题目录]-CA/TA development导读目录
8. 有了二叉查找树、平衡树为啥还需要红黑树？
9. Leetcode每日一题：191.number-of-1-bits(位1的个数)
10. Eclipse取消Process Validating
11. linux集群启动脚本,Hadoop2.2.0集群启动和停止Shell脚本
12. NSUserDefault
13. bzoj1385 [Baltic2000]Division expression
14. 数据库基础（1）关系的布尔运算：数据集的并，交，差，补和有效补运算
15. 100部经典漫画，有机会看看。
16. 【ESP32】HardwareSerial库使用
17. 40年间，“国货”如何崛起
18. 台式电脑怎么组装步骤_台式电脑怎么组装 U大侠分享组装台式机的具体步骤
19. 嵌入式ERPC框架正式发布了
20. 逆水寒2021最新服务器,【图片】《逆水寒》2021年4月29日更新公告【逆水寒ol吧】_百度贴吧...

热门文章

1. 大写字母的读法(大写字母的读音)
2. php爬虫QueryList使用
3. 微信小程序上传多张图片，上传文件pdf等
4. 【Python】Python图形化界面库PySimpleGUI的简单使用
5. 【AI文本工具站】日活近4万
6. c语言版实验1集合并交差,数据结构(C语言版)实验报告 集合的交并差
7. @钉钉机器人自动回复消息
8. WordPress日主题RiPro v8.9 无加密无后门免扩展无限制开心版(已测试)
9. 爬虫之爬取Boss直聘
10. Unix朝代歌《精通Unix下C语言编程与项目实践》读书笔记(7)