点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/287130155

编辑丨计算机视觉工坊

arXiv2020年9月上传的，10月底修改版 “Cooperative Perception for 3D Object Detection in Driving Scenarios using Infrastructure Sensors”。

单视角或者单智体的感知，比如3-D目标检测总有一些无法解决的问题，如有限视角、低点云密度和遮挡等。那么多个空间稀疏分布的传感器（即使是单模式）可以提供协同感知克服以上问题。

融合主要分早期和晚期两种（也有中期特征级别）。本文评估两种3-D点云目标检测的融合方法，主要采用一个合成数据集，模拟两种交通场景：环岛和T-型路口。结果表面，早期融合明显好于晚期融合。另外，融合的空间点也是一个因素。

如图是系统模型：数据在中央融合系统汇总各个传感器的数据，形成周围车辆共享一个目标单的结果。

这里所有传感器的数据要转换成一个统一的坐标系下

如下图是早期（a-）和晚期（b-）融合的协同目标检测的示意图：

还有一种混合方案：与晚期融合相比，早期融合方案可以提高检测目标的可能性，归因于检测之前的汇聚信息，但需要原始传感器数据共享，这增加了通信成本；作为中间解决方案，混合融合方案使用这两种方案，在不显著增加通信成本的情况下提升检测的可能性；关键点是在传感器可见度较高的情况下共享高级信息（晚期融合），可见度较低的情况下共享低级信息（早期融合）；靠近传感器的目标将具有较高的点密度，因此更可能使用单个传感器的观测值来检测；因此，不需要将传感器附近的点传输到中心融合系统，可减少通信带宽。

首先，在每个传感器节点采用晚期融合方案，并将检测到的目标框共享给中心融合系统；接着，每个传感器节点选择其在水平面投影在半径R的圆之外的点，与中心融合系统共享；半径R数值用来调节早期融合和晚期融合之间的权衡；随着R减少，中心融合系统共享更多原始数据；然后，中心融合系统对输入的点云使用早期融合方案，并将检测到的边框与每个传感器节点的晚期融合结果进一步融合。

目标检测方法基于VoxelNet【19】：即Apple以前提出的方法，如图（方法不是问题重点）

模拟器采用Carla，对环岛和丁字口的模型场景如图所示：因为目前没有做这个的数据可用吧，只有自动驾驶公司才会收集实际的传感器数据。

这里采用的传感器是RGB-D，丁字口用了6个摄像头，环岛用了8个摄像头，结果depth图像会转换为点云，即

这里给出一些结果：

注：这里没有考虑车路协同，只有路端融合结果共享给车辆，而不是运动的车辆传感器和道路传感器的融合，这样会面临道路传感器数据转换到动态车辆坐标系的复杂问题。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~