3D 目标检测综述梳理图解

总览

由于传不了pdf，本人就直接传图片吧

一、Multi-view Methods

梳理：

这一部分的内容主要是在不同view的一个fusion，从早期的三个channel到目前的两个channel，可见BEV&Image FV较为重要。
其次我们一直采用点云的 BEV来进行fusion，那么有没有一种可能，Image 也具有一定的BEV信息？
结论：个人认为是有的，无论是之前的传统摄像头采用桶型矫正&梯形校正，从而获得的BEV，还是GAN得到的结果，都说明Image存在一定的BEV信息，但是可能由于数据集采样方式(摄像头参数高度场景不一样)不一致，导致最后无法得到一个确定的参数来拿到传统的校正表
猜想：是否可以从每张图片获取相关的校正参数信息，如果这样的，采用少量的数据集进行校准，是不是可以得到一个被提前计算得到的校准表，从而达到节省计算的操作有人做了

Segmentation-based Methods

该方法主要以3D点云这一处理过程为主，RGB通道主要提供语义分割的信息
第一种idea是采用前景、背景的先验知识去指导3Dproposal的生成
第二种idea采用RGB得到的语义分割的信息、包括class、概率等信息融合到3D点云中

Frustum-based Methods

局限性：这种方法很明显会受限于2D检测的精度，如果遇见小目标、困难样本以及遮挡问题点云的优势反而会被限制容易陷入1+1 < 1的窘境当中
进一步思考：3D检测【点云】本身有不局限于光照的优点，但是采用这种方式很明显会受制于这个问题，从后续的文章可见即使缺少RGB通道的信息，3D检测的精度也能够达到较高。这可能是由于数据集的场景决定的，比如不会出现两种近似的物种出现【比如猫、老虎幼崽】，而在真正的场景中，可能需要加上unknown的对象，以面对开放场景的问题【其实数据集里都会对应don’t care等】

Point Cloud-based Mehtods

重点：如何减少无用运算增加有效运算
方式：1、先提出一个较好的网络模型，这个时候不用太关心其速度，但是需要注重他的性能。2、性能达到目标时，可以针对模型中的各个模块进行耗时测速，以及分析该模块是否合理以及能否采用更好的模块进行替换。3、针对替换后的模块进行相应的调优。
PV-RCNN -> PV-RCNN++ & 3DSSD也是如此

BEV-based Methods

基于BEV的好处可以避免RGB提供的信息错误引起误差，并且事先投影可以有效提高计算效率，从而达到实时性，但是如何解决高度上的信息丢失需要考虑比如采用额外的channel保存ground & 目标高度

Other Methods

写在最后这个是我刚入门3D检测时候做的一些整理，所以可能会有些不正确的地方，请大家直接批评指正。如果想要pdf版本可以私聊我，代价就是拿相应的pdf来换，分割、transformer、人脸、GAN、模型压缩等综述都可以嘿嘿

3D 目标检测综述梳理图解相关推荐

收藏 | 3D目标检测综述：从数据集到2D和3D方法
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:机器之心 AI博士笔记系列推荐周志华<机器学习> ...
3D目标检测综述：从数据集到2D和3D方法
本文经机器之心(almosthuman2014)授权转载,禁止二次转载. 作者:Yilin Wang, Jiayi Ye 机器之心编译编辑:Panda 目标检测一直是计算机视觉领域中一大难题.近日, ...
无人驾驶领域的3D目标检测综述
论文阅读笔记<3D Object Detection for Autonomous Driving: A Review and New Outlooks> github链接:https:/ ...
3D Object Detection for Autonomous Driving: A Survey（自动驾驶中的3D目标检测综述）论文阅读笔记
原文链接:https://arxiv.org/pdf/2106.10823.pdf II.传感器分为被动传感器(如摄像机)和主动传感器(如激光雷达).优缺点如下: 传感器优点缺点单目摄像机提 ...
Multi-Modal 3D Object Detection in Autonomous Driving: a Survey（自动驾驶中的多模态3D目标检测综述）论文笔记
原文链接:https://arxiv.org/pdf/2106.12735.pdf 1.引言 1.1 单一传感器3D目标检测基于图像的3D目标检测.低费用换来满意的性能.但存在遮挡. ...
【论文阅读】【综述】3D Object Detection 3D目标检测综述
目录写在开头 3D Object Detection 相关博客: Sliding window Vote3Deep: Fast Object Detection in 3D Point Clouds ...
3D Object Detection 3D目标检测综述
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: https://blog.csdn.net/wqwqqwqw1231/articl ...
史上最全综述：3D目标检测算法汇总！
来源:自动驾驶之心本文约16000字,建议阅读10+分钟本文将演示如何通过阈值调优来提高模型的性能.本文的结构安排如下:首先,第2节中介绍了3D目标检测问题的定义.数据集和评价指标.然后,我们回顾 ...
从2D到3D的目标检测综述
点云PCL免费知识星球,点云论文速读. 文章:An Overview Of 3D Object Detection 作者:Yilin Wang Jiayi Ye 翻译:分享者本文仅做学术分享,如有 ...
3D目标检测深度学习方法数据预处理综述
作者 | 蒋天元来源 | 3D视觉工坊(ID: QYong_2014) 这一篇的内容主要要讲一点在深度学习的3D目标检测网络中,我们都采用了哪些数据预处理的方法,主要讲两个方面的知识,第一个是rep ...