CenterFusion: 基于Radar和Camera融合的3D检测算法

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨Tom Hardy@知乎

来源丨https://zhuanlan.zhihu.com/p/319877774

编辑丨3D视觉工坊

前言

看到黄浴老师更新的一篇文章，觉得还不错，读了下paper，一起分享下思路。

论文、源码地址：在公众号「3D视觉工坊」，后台回复「CenterFusion」，即可直接下载。

摘要

自动驾驶汽车的感知系统负责对周围环境进行检测和跟踪物体。这个通常通过利用多种传感方式来提高鲁棒性和准确性，这使得传感器融合成为感知系统的关键部分。

本文针对雷达和相机传感器的融合问题，提出了一种利用雷达和摄像机数据进行三维目标检测的中间融合方法。我们称为CenterFusion的方法首先使用中心点检测网络，通过识别图像上的中心点来检测对象。然后利用一种新的基于视锥的方法来解决关键的数据关联问题，将雷达探测到的目标与其对应的目标中心点关联起来。相关的雷达检测用于生成基于雷达的特征地图，以补充图像特征，并回归到目标的深度、旋转和速度等属性。

文章主要贡献

1、论文提出了CenterFusion，一种利用雷达和摄像机数据进行三维目标检测的中间融合方法。

2、CenterFusion的重点是将雷达检测与从图像中获得的初步检测结果关联起来，然后生成雷达特征图，并将其与图像特征一起用于精确估计物体的三维边界框。

3、论文使用关键点检测网络生成初步的三维检测结果，并提出了一种新的基于截锥的雷达关联方法，以准确地将雷达检测与三维空间中的相应目标关联起来。然后，这些雷达检测被映射到图像平面，并用于创建特征映射，以补充基于图像的特征。最后，利用融合后的特征精确估计物体的三维属性，如深度、旋转和速度。

网络结构

如下图所示，论文采用CenterNet作为目标检测网络，并回归其他对象属性，例如物体的二维尺寸（宽度和高度）、中心偏移、三维尺寸、深度和旋转。论文提出了一种中间融合机制，将雷达探测到的目标与其对应的目标中心点相关联，并利用雷达和图像的特征，通过重新估计它们的深度、速度、旋转和属性来改进初始检测。

检测网络只利用每个对象中心的图像特征来回归到所有其他对象的属性。为了在这个过程中充分利用雷达数据，我们首先需要将雷达探测与图像平面上的对应对象其关联起来。

为了实现这一点，一种简单的方法是将每个雷达探测点映射到图像平面，并将其与一个对象关联（如果该点映射到该对象的二维边界框内）。这不是一个非常可靠的解决方案，因为雷达探测和目标之间没有一对一的映射。

在图像中，场景中的许多对象生成多个雷达检测，也有一些雷达检测与任何对象都不对应。另外，由于雷达检测的z维不精确（或根本不存在），映射雷达检测可能会在其对应对象的2D边界框之外结束。最后，被遮挡目标的雷达检测将映射到图像中的同一个区域，这使得在二维图像平面上区分它们变得困难。

论文的解决方法：

视锥关联机制：我们开发了一种视锥关联方法，它使用对象的二维边界框及其估计的深度和大小为对象创建一个3D感兴趣区域（RoI）视锥体。

对于物体的精确二维边界框，我们为该物体创建一个截头体，如下图所示。这大大缩小了需要检查关联的雷达探测范围，因为这个截锥之外的任何点都可以忽略。然后，使用估计的物体深度、尺寸和旋转角度在物体周围创建一个感兴趣区域，进一步过滤掉与该物体无关的雷达探测。如果在这个感兴趣区域内有多个雷达探测，我们取最近的点作为该目标对应的雷达检测。

实验结果

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~