值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(上)
是百度早期自动驾驶组在2016年工作。
将全卷积网络技术移植到三维距离扫描数据检测任务。具体地,根据Velodyne 64E激光雷达的距离数据,将场景设置为车辆检测任务。在2D点图呈现数据,并使用单个2D端到端全卷积网络同时预测目标置信度和边框。通过设计的边框编码,使用2D卷积网络也能够预测完整的3D边框。
2D点图的形成通过如下公式:
其中p =(x,y,z)表示3D点,(r,c)表示其投影的2D图位置。θ和φ表示观察点时的方位角和仰角。Δθ和Δφ分别是连续光束发射器之间的平均水平和垂直角分辨率。投影点图类似于圆柱图像。用2-通道数据(d,z)填充2D点图中的(r,c)元素,其中d =(x ^ 2 + y ^ 2)^ 0.5。
如图所示:(a)对于每个车辆点p,定义一个以p为中心的特定坐标系;坐标系的x轴(rx)与从Velodyne原点到p(虚线)的光线一致。(b)关于观察车辆时的旋转不变性的说明,载体A和B具有相同的外观。
下图是FCN结构图:
FCN结构
目标度图deconv6a由对应于前景,即位于车辆上的点,以及背景,的2个通道组成。2个通道由softmax标准化表示置信度。
边框图的编码需要一些额外的转换。
下图在不同阶段生成数据的可视化结果。(a)输入点图(d, z),其中 d 通道可视化。(b)FCN中deconv6a输出口目标度分支输出的置信度图。红色表示更高的置信。(c)对应于预测为正的所有点的边框候选,即(b)中的高置信度点。(d)非最大抑制后的剩余边框。红点是车辆的基本点供参考。
“VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection”
Apple的工作:为消除对3D点云的手动特征工程的需求,提出VoxelNet,一种通用的3D检测网络,可将特征提取和边框预测统一到单步端到端可训练的深度网络中。
具体而言,VoxelNet将点云划分为等间距的3D体素,并通过体素特征编码(VFE)层将每个体素内的一组点转换为统一的特征表示。
通过这种方式,点云被编码为描述性体积表示,然后将其连接到区域建议网络(RPN)以生成检测。
下面是VFE层的结构:
如图是RPN的结构:
“Object Detection and Classification in Occupancy Grid Maps using Deep Convolutional Networks”
基于网格图的环境表示,非常适合传感器融合、自由空间的估计和机器学习方法,主要使用深度CNN检测和分类目标。
作为CNN的输入,使用多层网格图有效地编码3D距离传感器信息。
推理输出的是包含一个带有相关语义类别的旋转边框列表。
如图所示,将距离传感器测量值转换为多层网格图,作为目标检测和分类网络的输入。从这些顶视图网格图,CNN网络同时推断旋转的3D边框与语义类别。将这些框投影到摄像机图像中进行视觉验证(不是为了融合算法)。汽车被描绘成绿色,骑自行车的人是海蓝宝石,行人是青色。
以下是获得占有网格图(occupancy grid maps)的预处理。
由于仅在摄像机图像中有标记目标,因此删除不在摄像机视野中的所有点。
应用地面分割并估计不同的网格单元特征,得到的多层网格图的大小为60m×60m,单元格大小为10cm或15cm。如所观察到的,在大多数情况下地面是平坦的,因此将地平面拟合到代表点集。
然后,使用完整点集或非地面子集来构造包含不同特征的多层网格图。
“RT3D: Real-Time 3-D Vehicle Detection in LiDAR Point Cloud for Autonomous Driving”
这是一种实时三维(RT3D)车辆检测方法,利用纯LiDAR点云来预测车辆的位置、方向和尺寸。
设计的是两步检测法,文中应用pre-RoI pooling卷积,将大部分卷积运算移到RoI池之前,只留下一小部分,这样可以显着提高计算效率。
姿势敏感的特征图设计特别通过车辆的相对姿势激活,带来车辆的位置、方向和尺寸的高回归精度。
文中声称RT3D是第一款在0.09秒内完成检测的LiDAR 3-D车辆检测工作。
下图是RT3D的结构图:
“BirdNet: a 3D Object Detection Framework from LiDAR information”
这个基于LiDAR的3D物体检测流水线,需要三个阶段:
- 首先,激光数据被投射到鸟瞰图的新单元编码中。
- 之后,通过最初设计用于图像处理的卷积神经网络,估计平面目标的位置及其航向。
- 最后,后处理阶段计算面向3D的检测。
“LMNet: Real-time Multiclass Object Detection on CPU using 3D LiDAR”
“HDNET: Exploit HD Maps for 3D Object Detection”
“PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation ”
“IPOD: Intensive Point-based Object Detector for Point Cloud”
“PIXOR: Real-time 3D Object Detection from Point Clouds”
“DepthCN: Vehicle Detection Using 3D-LIDAR and ConvNet”
“SECOND: Sparsely Embedded Convolutional Detection“
“YOLO3D: E2E RT 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud”
“YOLO4D: A ST Approach for RT Multi-object Detection and Classification from LiDAR Point Clouds”
“Deconvolutional Networks for Point-Cloud Vehicle Detection and Tracking in Driving Scenarios”
“Fast and Furious: Real Time E2E 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net”
“PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud “
PointRCNN是一种深度NN方法,从原始点云进行3D对象检测。
“PointPillars: Fast Encoders for Object Detection from Point Clouds“
“Complex-YOLO: An Euler-Region-Proposal for Real-time 3D Object Detection on Point Clouds”
Complex-YOLO,是一个仅用点云数据的实时3D物体检测网络。它通过特定的复杂回归策略扩展YOLOv2网络(这是以前一种用于RGB图像的快速2D标准物体检测器),估计笛卡尔空间中的多类3D边框。
◆
精彩推荐
◆
推荐阅读
免费开源!新学期必收藏的AI学习资源,从课件、工具到源码都齐了
干货 | 收藏!16段代码入门Python循环语句
Python玩转高德地图API(一)
任正非称华为 6G 领先世界;支付宝小程序将与微博打通;Linux Kernel 5.3 发布 | 极客头条
幼儿识字从比特币开始? 小哥出了本区块链幼教书, 画风真泥石流……
Serverless 的喧哗与骚动
我们到底该如何看待6G?
互联网大佬为什么爱唱歌
惊呆!这辆悍马自己在跑跑跑跑跑跑跑!
你点的每个“在看”,我都认真当成了喜欢
值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(上)相关推荐
- 值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(下)
作者 | 黄浴 来源 | 转载自知乎专栏自动驾驶的挑战和发展 [导读]在近日发布的<值得收藏!基于激光雷达数据的深度学习目标检测方法大合集(上)>一文中,作者介绍了一部分各大公司和机构基于 ...
- 深度学习目标检测方法汇总
目标检测简介 目标检测是计算机视觉的一个重要研究方向,是指从一个场景(或图片)中找到感兴趣的目标.任务大致分为三个流程: 从场景中提取候选区 从候选区提取特征 识别候选区的类别并对有效的候选框进行 ...
- 【西安交大】2020年最新深度学习目标检测方法综述
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 目标检测的任务是从图像中精确且高效地识别.定位出大量预定义类别的物体实例.随着深度 ...
- 深度学习目标检测方法综述
参考:https://blog.csdn.net/Standing_On_Giant/article/details/60333329 参考:https://blog.csdn.net/xiaohu2 ...
- 深度学习目标检测方法
转自:http://blog.csdn.net/yimingsilence/article/details/53995721 这里搜集了一些关于物体检测的方法分析和介绍,看好哪个可以去详细研究一下,基 ...
- 深度学习目标检测工具箱mmdetection,训练自己的数据
文章目录 一.简介 二.安装教程 1. 使用conda创建Python虚拟环境(可选) 2. 安装PyTorch 1.1 3. 安装Cython ~~4. 安装mmcv~~ 5. 安装mmdetect ...
- 动手学深度学习——目标检测 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN
来源:13.4. 锚框 - 动手学深度学习 2.0.0-beta1 documentation 目标检测:锚框算法原理与实现.SSD.R-CNN_神洛华的博客 目录 目标检测简介 目标检测模型 编辑 ...
- 基于改进SSD的车辆小目标检测方法
基于改进SSD的车辆小目标检测方法 人工智能技术与咨询 来源:<应用光学>,作者李小宁等 摘 要:地面车辆目标检测问题中由于目标尺寸较小,目标外观信息较少,且易受背景干扰等的原因,较难精确 ...
- 一文入门基于三维数据的深度学习
本文转载自北京智源人工智能研究院. 这是一篇三维数据深度学习的入门好文,兼顾基础与前沿,值得收藏!为方便大家学习,本文PDF版本和所列出的所有文献提供下载,(2020年7月27日11点后)在我爱计算机 ...
最新文章
- Python使用过滤器(filter)进行图像模糊处理
- Javascript在IE中的有趣错误
- 属性子集选择的基本启发方法_图网络基本属性
- mac 配置java adb环境_MAC 配置android adb命令的环境变量
- 浅谈:国内软件公司为何无法做大做强?
- SpringMVC图片上传与显示
- Nitro PDF 数据遭大规模泄露,波及微软、谷歌、苹果等
- win2003实现单用户远程登录
- linux: tee日志记入文件
- git 小乌龟 配置_Git-TortoiseGit完整配置流程
- JAVA毕业设计婚纱摄影网设计计算机源码+lw文档+系统+调试部署+数据库
- 刷题笔记(一)《王道计算机考研机试指南2》
- PHP 互联网架构师成长之路*「swoole」终极指南
- 解构华为AI技术布局:构建无所不及的智能
- Python运算(五)统计statistic模块
- 纪录片:互联网之子 亚伦·斯沃茨的故事
- 445端口被封之后,在公网实现smb文件共享
- 使用Kubeadm快速部署K8S集群
- 联手腾讯八百客CRM实现“本土化”弯道超车
- 计算机论文 内容要点 或提纲,论文提纲格式及写法要点 论文提纲格式