赶工读文章（2）— Radar-Camera Sensor Fusion for Joint Object Detection and Distance Estimation in AV

题目是AV是Autonomous Vehicles，太长写不下了。如有错漏，还望指正。

Radar-Camera Sensor Fusion for Joint Object
Detection and Distance Estimation in Autonomous Vehicles (2020)
作者： Ramin Nabati, Hairong Qi
原文传送门：paper

介绍：据作者说，对于一个two-stage的网络，proposals生成的网络比较影响检测精度，所以他们提出的这个网络尝试用雷达点去提高proposals生成的准确程度。具体来说，作者把基于radar和基于camera生成的proposals融合，然后再交给Fast R-CNN去做分类。

文章目录

一、网络结构
二、Radar Proposal Network
三、Image Proposal Network
四、Distance Refinement
五、Loss Function

一、网络结构

作者把网络里生成proposals的地方成三个部分：
Radar Proposal Network + Image Proposal Network + Distance Refinement

二、Radar Proposal Network

下图红框就是radar proposal network：

步骤：

对每一个radar点生成2n个3D锚框 ( x , y , z , w , l , h , r ) (x,y,z,w,l,h,r) (x,y,z,w,l,h,r)，其中：
( x , y , z ) (x,y,z) (x,y,z)——中心点坐标；
( w , l , h ) (w,l,h) (w,l,h)——3D锚框大小，由训练集每个类别的标注框平均大小得到；
( r ) (r) (r)——汽车的相对坐标系的转角，在这篇论文里， r = 0 ° , 90 ° r=0°, 90° r=0°,90°；
n n n——数据集中种类数。
用找最小包围框的办法把3D锚框画到图像平面上；
依靠雷达点生产的2D proposals和图片卷积以后的特征图一起输入到Radar Proposal Refinement（RPR）里面去。RPR里面的Box Regressor会用在radar proposal里面的图像特征来对proposal的中心点进行回归（具体怎么做还没看代码）；Box classification会为每一个radar proposal估计一个表示proposal里面的物体是前景还是背景的objectness score。该文中正负例子的区分阈值和R-CNN系列的是一样的。

三、Image Proposal Network

图像的proposals生成还是沿用RPN，不过在卷积层的顶上加了一层fully connected distance regression layer用来简单估计深度。基于图像生成的proposals有两个好处：一个相比radar proposals，更不容易遗漏像行人这样的小物体；第二个是用两种不同的传感器生成proposals的话，结合起来可能可以互补一下，让结果更好。

四、Distance Refinement

这里先用NMS把多余的proposals过滤掉，具体来说是先算radar proposals和image proposals的IOU，然后把IOU高于阈值radar proposals的深度覆盖image proposals，然后再在下一步对所有proposals做NMS。

五、Loss Function

同Faster R-CNN。