分享 | 3D目标检测方法总结
3D目标检测目前主要的应用场景就是自动驾驶，自动驾驶车不仅仅需要识别障碍物的类型，还需要识别物体的精确位置和朝向。以提供信息给规划控制模块，规划出合理的线路。
3D目标检测
一、3D目标检测方法
自从2017年以来3D目标检测涌现出了很多经典算法，下面整理了一些算法的时间线。
3D目标检测方法
3D目标检测方法无外乎以下几种。
根据输入类型（传感器种类）来划分，目前3D目标检测的方法分为：
单模（Lidar）
多模（Lidar+Camera、Radar+Camera）
根据特征提取的方法来划分，主要分为以下4种：
Point Clouds - 基于原始点进行特征提取
Voxel - 把点云划分成一个个的网格，然后提取网格的特征
Graph - 利用图的方式，对半径R内的点建立图，然后提取特征
2D View - 把3D投影到2D平面，大部分采用BEV视角，然后用2D卷积提取特征
下图分别描述了上述4种特征提取方式：
特征提取示意图
二、Voxelnet
2017年 CVPR Apple公司提出的基于voxel的特征提取方法。
对点云进行网格化，得到规则的特征，然后进行3D卷积。
三、PointNet++
2017年 CVPR 是PointNet的改进，基于原始点提取特征。
采样算法是最远点采样（farthest point sampling, FPS），相对于随机采样，这种采样算法能够更好地覆盖整个采样空间。
点云数据中的一个点的局部由其周围给定半径的球形空间内的其他点构成。
四、MV3D
2017年 CVPR - 百度和清华提出，3D投影到2D平面，多模态融合了Lidar和Camera数据。
其中BEV视角对高度进行切片，切片数量为M，加上密度图和强度图，总共生成M+2个特征图。
FV视角把雷达投影到圆柱体之后再展开到2维平面。
融合方式采用的是深度融合(Deep fusion)。
五、PIXOR
2018年CVPR Uber one-stage, Lidar only
为什么要把PIXOR单独拿出来，因为PIXOR和MV3D都是采用把3D视图投影到2D视图的方法，而PIXOR只采用了BEV视角的特征，效果却比MV3D还要好，所以证明BEV视角非常关键。
六、PointPillars
2019年 CVPR Aptiv
新的点云编码方式，是对SECOND方法的改进。
七、Point-GNN
2020年 CVPR - Carnegie Mellon University
引入了图神经网络对点云3D特征进行提取
首先论文介绍了3D特征提取的3种方式：投影到2D，聚类点集、图
接下来介绍了图神经网络的结构：
新的3D点云特征的表达方式，缺点是速度慢643ms（Xeon E5-1630 CPU and GTX 1070 GPU），并且雷达线数下降的时候，精度下降很明显。
八、总结
最后对3D物体检测做了一些思考和总结：
特征提取。不管是根据Voxel，Point Cloud还是投影到BEV，到底如何更好的表示3维特征是后面关注的重点？
融合方式。单传感器存在诸多局限，采用多传感器融合是趋势，但是如何融合数据，前融合、后融合还是深度融合？
3D Proposal。目前效果比较好的方法普遍是two-stage检测，如何提取有效的提取推荐区域非常关键（一是减少计算量，二是提高精度）。
Encoder-Decoder。最新的方法普遍采用了生成方法来提高分辨率。
语义信息。后续是否加入语义信息来帮助理解，比如汽车轮子、环境信息等。
线束降低。低线束下的模型性能评估？有助于减少成本，以后低线束的雷达和高线速的雷达价格差距大吗？
来源：知乎
作者：王方浩
分享 | 3D目标检测方法总结相关推荐
- Top1的3D目标检测方法（已开源）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 一.SA-SSD 在bird's eye view任务中,效率与精度并存的SA-SSD 论文:http ...
- 通过形状先验引导的3D目标检测方法（Disp R-CNN解读）
来源丨AI 修炼之路 问题,我们提出在不需要雷达点云的情况下,使用统计形状模型生成密集视差伪真值,这使得我们的系统具有更广泛的适用性.在KITTI数据集上进行的实验表明,即使在训练时不使用雷达数据,D ...
- 一个雷达和摄像头融合的3D目标检测方法CenterFusion
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉工坊 以前提到过此文(在想法中),WACV'2 ...
- A Survey of Robust LiDAR-based 3D Object Detection Methods for Autonomous Driving（激光雷达3D目标检测方法）论文笔记
原文链接:https://arxiv.org/pdf/2204.00106.pdf III. SotA 将基于点云的3D目标检测分为4类,即基于点的.基于体素的.基于前视图的和基于多视图的方法. A. ...
- PanoNet3D：一个基于激光雷达点云语义和几何理解的3D目标检测方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨黄浴@知乎 来源丨https://zhuanlan.zhih ...
- 近期激光雷达点云的3D目标检测方法
作者丨黄浴@知乎 来源丨https://zhuanlan.zhihu.com/p/370650927 编辑丨3D视觉工坊 看到的一些近期激光雷达做目标检测的论文. 1 Offboard 3D Obje ...
- 相机与激光雷达融合的3D目标检测方法MVAF-Net
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 编辑丨新机器视觉 该方法将激光雷达投影的BEV和前向视角.与摄像头视角图像作为检测输入,在特征融合中, ...
- PanoNet3D：一种3D目标检测方法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:计算机视觉联盟 AI博士笔记系列推荐 周志华<机器 ...
- CaDDN：基于单目的3D目标检测新方法（CVPR2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨元气满满的打工人 来源丨CV研习社 文章导读 导读:在自动驾驶的技术中,3D目标检测能够提更加丰 ...
- 收藏 | 3D目标检测综述：从数据集到2D和3D方法
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
最新文章
- 支持国内版Office 365的PowerShell模块现已发布
- 女性程序员占比超17%，平均月薪近2万 | 程序员就业大数据报告
- 实施PLM系统的总结及建议
- nginx+tomcat实现主备切换
- prometheus监控耗时MySQL_Grafana+Prometheus监控mysql性能
- 分布式项目 cookie共享方案
- 美摄智能生产平台，轻松搞定视频制作——对话美摄科技研发总监黄裔
- 简单解决“无法打开内核设备:\\Global\\vmx86”错误
- multisim秒信号发生器_失联50年的卫星突然出现，莫名向地球发送信号，究竟谁在操控？...
- ●POJ 1228 Grandpas Estate
- Modelsim10.4-win64软件下载安装与破解
- Off World Live 插件：广播UE4内部的音频信号到NDI
- 当鼠标移动到上面时的应用
- java该选择哪个城市_逃离北上广，java程序员又能选择哪些城市呢？
- c语言 %x,%d,%c,%s,%x各代表什么
- vue上线后图片不显示_解决Vue打包后访问图片/图标不显示的问题
- intval()和int()
- 2021年4月19日 深圳头条后台开发实习面试（一面）（含总结）
- 【加密解密】对exe文件的加密解密 含源代码》
- qq邮箱 pop3smtp服务 php,QQ邮箱开启POP3/SMTP服务 POP3/SMTP服务什么意思