【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球,点云论文速读。
标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection
作者:Rui Qian, Divyansh Garg Yan Wang
来源:CVPR 2020
星球ID:particle
本文仅做学术分享,如有侵权,请联系删除。欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
●论文摘要
可靠、准确的三维物体检测是安全自主驾驶的必要条件。尽管激光雷达传感器可以提供周围环境的三维点云数据,但在许多情况下,它们的成本也高得让人望而却步。最近,伪激光雷达(PL)的引入使得基于LiDAR传感器的方法与基于廉价立体相机的方法之间的精度差距大大缩小。PL通过将二维深度图输出转换为三维点云输入,将用于三维深度估计的最新深度神经网络与用于三维目标检测的深度神经网络相结合。然而,到目前为止,这两个网络必须分开训练。在本文中,我们介绍了一个新的框架,它基于differentiable Change of Representation(CoR)模块,允许对整个PL流程进行端到端的训练。该框架与大多数最先进的网络兼容,适用于这两项任务,并与PointRCNN相结合,在所有测试数据集中中始终优于其他方法的PL方法,在基于KITTI图像的3D目标检测排行榜上获得了最高的排名。代码开源在 https://github.com/mileyan/pseudo-LiDAR_e2e
●内容介绍
虽然伪激光雷达模块在概念上是很吸引人的研究,但是需要两个独立的训练系统组合会产生一定的性能损失,特别是,伪激光雷达需要两个系统:一个是深度估计器,能够训练出一个通用的深度估计的图像,另一个是目标检测器将训练得到的深度估计转换到点云数据上,这两个训练目标不太可能与最终的目标最佳匹配,以最大的限度的提高检测精度,文章选择可具有代表性的目标检测POXOR和PointRCNN来验证提出的端到端的伪激光雷达(E2E-PL)方法,在所有评估设置中,我们都优于基线伪激光雷达管道和改进的PL++算法,并且显著优于其他基于图像的三维物体探测器。在提交时,我们的E2E-PL和PointRCNN在基于KITTI图像的3D物体检测排行榜上保持着最好的结果。我们的定性结果进一步证实了端到端的训练可以有效地计算深度估计器在目标边界附近改进其估计,这对于精确地定位目标至关重要
端到端学习器流程说明。绿色包围盒是汽车的地面真相检测。黄色的点是来自激光雷达的点。粉红色点云是由一个独立训练的深度估计器生成的,它是不准确的,并且不在绿盒内。通过端到端的深度估计和三维目标检测,得到了较好的蓝色点云。在此基础上,目标探测器可以产生最先进的性能。
1
端到端的伪激光雷达
伪激光雷达流程上分两种目标不同的训练步骤。首先,深度学习估计器来估计立体图像中所有像素的一般深度;然后训练基于激光雷达的探测器。
端到端的伪激光雷达:端到端基于图像的三维目标检测:我们引入了一个表示层的改变,将深度估计网络的输出作为三维目标检测网络的输入。其结果是一个端到端的管道,直接从立体图像生成对象边界框,并允许在所有层进行反向传播。黑色实心箭头表示向前通过;蓝色和红色虚线箭头分别表示目标检测损失和深度损失的反向过程。*表示我们的CoR层能够反推不同表示之间的梯度。
量化:我们使用软量化或硬量化对输入的伪激光雷达(PL)点云进行体素化。绿色体素是那些受PL点影响的体素。具有检测损失L_det正梯度的蓝色体素施加力将点从其中心推到其他体素,而具有负梯度的红色体素施加力将其他体素的点拉到其中心。只有当PL点影响这些体素时,红、蓝体轴上的这些力才能影响PL点。软量化增加PL点的影响区域,从而增加力,允许其他体素的点被推开或拉向。因此,更新后的PL点可以变得更接近地面真实激光雷达点云。
深度估计的定性结果。PL++(仅限图像)的顶部有许多估计错误的像素。通过端到端的训练,提高了对车辆周围深度的估计,得到的伪激光雷达点云具有更好的质量。
鸟瞰图的结果。红色边界框表示地面真实,绿色边界框表示检测结果。PL++(仅限图像)错过了许多远处的汽车,并且边界框定位较差。通过使用端到端的训练,我们可以得到更精确的预测(第一列和第二列),并减少假阳性预测(第三列)
●总结
本文介绍了一种伪激光雷达的端到端训练框架[1,2]。我们提出的框架可以适用于三维目标探测器,它可以是直接点云输入,也可以是量化结构输入。由此产生的模型在基于图像的三维物体检测方面开创了新的技术水平,并进一步缩小了立体和基于激光雷达的传感器之间剩余的精度差距。
参考文献
【1】Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger. Pseudo-lidar from visual depth estimation: Bridging the gap in 3d object detection for autonomous driving. In CVPR, 2019.
【2】Yurong You, Yan Wang, Wei-Lun Chao, Divyansh Garg, Geoff Pleiss, Bharath Hariharan, Mark Campbell, and Kilian Q Weinberger. Pseudo-lidar++: Accurate depth for 3d object detection in autonomous driving. In ICLR, 2020.
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测:MV3D-Net
三维点云分割综述(上)
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
win下使用QT添加VTK插件实现点云可视化GUI
JSNet:3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦!
【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔:非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看:点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示:
如果你对本文感兴趣,请点击“原文阅读”获取知识星球二维码,务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球,免费下载pdf文档,和更多热爱分享的小伙伴一起交流吧!
扫描二维码
关注我们
让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。
分享及合作方式:可联系微信“920177957”(需要按要求备注)联系邮箱:dianyunpcl@163.com,欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
【论文速读】基于图像的伪激光雷达三维目标检测相关推荐
- 端到端基于图像的伪激光雷达3D目标检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Objec ...
- 自动驾驶系统进阶与项目实战(十)基于PointPillars的点云三维目标检测和TensorRT实战(1)
自动驾驶系统进阶与项目实战(十)基于PointPillars的点云三维目标检测和TensorRT实战(1) 发表于CVPR2019的PointPillars是目前比较受业内认可的激光雷达三维检测算法, ...
- 51篇最新CV领域综述论文速递!涵盖14个方向:目标检测/图像分割/医学影像/人脸识别等方向...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割. 图像识别.人脸识 ...
- 【CV】54篇最新CV领域综述论文速递!涵盖14个方向:目标检测/图像分割/医学影像/人脸识别等方向...
文章来源于极市平台,作者CV开发者都爱看的 [导读]本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割. 图像识别.人脸识别/检测.医学影像.目标检测.3D方向(自动驾 ...
- 25篇最新CV领域综述性论文速递!涵盖15个方向:目标检测/图像处理/姿态估计/医学影像/人脸识别等方向
目标检测 1. 综述:深度域适应目标检测 标题:Deep Domain Adaptive Object Detection: a Survey 作者:Wanyi Li, Peng Wang 链接:ht ...
- 目标检测YOLO实战应用案例100讲-基于单目的自动驾驶三维目标检测系统研究
目录 前言 (1)改变输出变量定义的方法 (2)改变输入数据的表达形式 (3)改变特征提取方式
- CVPR2020论文解读:3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
- 【论文速读】基于投影方法的激光雷达点云处理比较
点云PCL免费知识星球,点云论文速读. 文章:LiDAR point-cloud processing based on projection methods: a comparison 作者:Gui ...
- [论文速读]:全景相机(360度相机)室内图像的景深估计 Depth Estimation for Indoors Spherical Panoramas (三篇)
[论文速读]:全景相机(360度相机)室内图像的景深估计 Depth Estimation for Indoors Spherical Panoramas (三篇) 全景相机(360度相机)室内图像有 ...
最新文章
- MMDB ip地址库操作
- 漫画:什么是人工智能
- 软件测试bug文档模板,软件bug测试记录模板
- php 5.4 安装xcache,安装xcache为你的PHP加速
- CentOS6 安装Sendmail + Dovecot + Squirrelmail
- ** is not in the sudoers file. This incident will be reported. 给某个用户开放sudo权限。
- pytorch 与 numpy 的相互转换
- 多线程mute/lock_guard/unique_lock/condition_variable访问同一公共资源
- dell 如何给raid分区_Dell服务器如何进行RAID级别在线转换及RAID扩容
- 京东:狙击凡客?绝无此事!
- Gitlab 登录报422错误,账号密码是对的?
- 故事要从我白嫖了一个阿里云服务器说起
- vue 移动端实现上拉加载更多
- 淘宝无货源店群,新手开店怎么入门?掌握这几点让你少走弯路!
- 1599-卡斯丁狗的炉石传说 ZCMU
- mysql查询各科成绩前三名的记录_mysql巧用连表查询各科成绩前三名
- USB-RS232转换器芯片国产化应用
- mysql rbo cbo_Oracle的RBO和CBO详细介绍和优化模式设置方法
- 《大家的日语3》语法整理1~48课
- 192.168.和10.0.开头的IP、内网IP段、IP简介、分类