三十三.智能驾驶之多传感器融合技术: AVOD融合方法
AVOD（Aggregate View Object Detection）和MV3D类似,是一种融合3维点云和相机RGB图像的三维目标检测算法. 不同的是: MV3D中融合了相机RGB图像,点云BEV映射和FrontView映射,而AVOD则只融合相机RGB图像和点云BEV映射.
从网络结果来看,AVOD采用了基于两阶的检测网络,这让我们很容易想到同样是两阶检测网络结果的Faster RCNN物体检测网络. 一想到两阶,相信大家首先想到的就是检测精度高但检测速率慢,仅适用了是检测帧率要求不高且要求检测精度的场景.
下面是一张AVOD的网络结构图(图片来源于网络):
AOVD的两阶体现在两个方面: 目标框检测, 数据级和特征级两步融合. 基本过程如下:
一. AVOD对RGB图像和点云BEV分两路使用FPN网络(关于FPN的细节不再阐述)进行特征提取,获取两种输入的全分辨率特征映射: 图像特征映射和BEV特征映射(高度图和密度图).
二.对于两种特征映射,为了对它们进行融合,需要调整到一致的尺寸, 分别对它们进行1x1卷积,进一步提取特征,然后调整同样尺寸后, 进行融合. 这是第一融合,相对于第二次融合,该次融合相当于数据级融合.
三. 经第一次融合后的特征,送入一个类似Faster RCNN的RPN网路,经全连接层和NMS后,经第一次分类和3DBBox回归后, 生成一些列区域建议框(候选框),
四. 生成的建议框分别和第一步生成的两路特征映射一起,经调整尺寸后,进行第二次融合(区域建议框融合).
五. 融合后的特征,经全连接层第二次分类和3DBBox回归运算后,经NMS后期处理,最终生成目标检测框.
点云鸟瞰图(BEV)的获取方式:
在AVOD中,算法采用两种方式来表达BEV数据: 高度图 和 密度图
- 高度图： 从BEV视角区域，划分为一定尺寸的网格,比如: MxN. 在每一个网忘格里，在从高度方向将0-2.5高的垂直空间划分为K层，这样就把BEV视角的点云空间划分为M x N x K的立体格(Voxel), 同时找出每个立体格内的最大高度H_max。这样,有这M x N x K个H_max就构成了高度图。
- 密度图： 基于上一步的M x N x K的立体格(Voxel), 计算每个立体格的点云点密度,计算公式为 ,由此M x N x K个密度值构成密度图。
创新性的3维边界框的向量表示形式:
一般的做法是: 对于2维检测框,采用4x2(x,y)共8个值,或中心点+尺寸表示法: 1(长)+1(宽)+2(x,y)共4个值. 而对于3维检测框,采用8x3(x,y,z)共24个值.
AVOD创新性的采用了底面边框+上下面离地高度形式,即; 4x2(x,y) + 2x高的形式,共10个值. 详细见下图, 图中左侧为MV3D的24值表示法,右侧为AVOD的10值表示法:
三十三.智能驾驶之多传感器融合技术: AVOD融合方法相关推荐
- 网络安全系列-三十三: 网络情报原理及情报侦察的技术、工具及资源
1. 什么是网络情报 1.1. 情报定义 Intelligence 情报:一种有用的信息,通常需要被搜集.处理.分析.协助决策者做出正确行动 CI: Cyber Intelligence 网络空间情报 ...
- 智能驾驶功能软件平台设计规范 第二部分：感知融合功能服务接口
智能驾驶功能软件平台设计规范 第二部分:感知融合功能服务接口 版本:1.0 2020-07-29 发布 1 规范应用范围 本规范规定了智能驾驶功能软件平台中的感知融合功能服务接口. 本规范适用于设计开 ...
- 李德毅院士：基于驾驶脑的智能驾驶车辆硬件平台架构
来源:中国工程院院刊 转自:智车科技 导 读: 智能驾驶车辆试验平台是人工智能科学.认知科学.控制科学等多个学科领域的最新理论与实践的成果,也是研究智能驾驶理论与技术的基础.不同智能驾驶试验平台的传 ...
- 前沿研究丨基于驾驶脑的智能驾驶车辆硬件平台架构
本文选自中国工程院院刊<Engineering>2018年第4期 作者:李德毅,高洪波 来源:A Hardware Platform Framework for an Intelligen ...
- 前沿研究丨李德毅院士：基于驾驶脑的智能驾驶车辆硬件平台架构
2020-09-05 20:31:00 导读 智能驾驶车辆试验平台是人工智能科学.认知科学.控制科学等多个学科领域的最新理论与实践的成果,也是研究智能驾驶理论与技术的基础.不同智能驾驶试验平台的传感器 ...
- 万字综述智能驾驶车载激光雷达关键技术与应用算法
来源 | 智驾最前沿 编辑 | 焉知智能汽车 随着全球智能驾驶进入产业化与商业化的准备期,车载激光雷达凭借其优异性能已成为不可或缺的环境感知传感器并在硬件技术和应用算法上得到迅猛发展.文章以激光雷达扫 ...
- 2021年中国智能驾驶行业研究报告
智能驾驶丨研究报告 核心摘要: 产业概况: 乘用车:2020年,我国乘用车产销分别为1999.4万辆和2017.8万辆.在智能化.联网化技术的推动下,智能联网汽车逐渐接力成为乘用车市场中的主要增长动力 ...
- 浅析智能驾驶的发展现状和未来趋势
浅析智能驾驶的发展现状和未来趋势 [摘要]智能驾驶作为工业革命和信息化的重要产物,是战略性新兴产业的重要组成部分,是当今人工智能时代中的一个重要分支,可能将成为下一代智能终端.智能驾驶产业现状虽然面临 ...
- 百度发布Apollo城市智驾，距离AI智能驾驶还有多远？
推荐:将NSDT场景编辑器加入你的3D工具链. 工具集:NSDT简石数字孪生 随着人工智能技术的不断发展,智能驾驶已经成为了汽车行业的一个重要领域.智能驾驶可以减少人为驾驶的错误和疲劳驾驶等不安全因素 ...
- 【智能驾驶】无人驾驶推进时间表及五大技术领域关键节点
来源:莫尼塔财新智库 摘要:本文援引莫尼塔财新智库的一篇研究,系统梳理了无人驾驶各关键技术节点以及其成熟时间." "汽车技术发展到如今,几乎没有人质疑无人驾驶会成为汽车行业变革的巨 ...
最新文章
- 我国IPv6规模要达到世界第一
- 国际农化巨头战略转移-丰收节贸易会：未来农化发展之路
- 今日arXiv精选 | 11篇EMNLP 2021最新论文
- Spring应用架构
- 经典算法研究系列：十、从头到尾彻底理解傅里叶变换算法、下
- C# 序列化与反序列化json
- 智能商业大会构造信息化交流平台
- 如何将Netbeans配置更加合理
- Best Coder Lotus and Characters
- Tripwire安装
- 助力春运 重庆机场今晨新增一架飞机入列
- java基础三--IO流(1)
- java chatat delete,StringBuffer deleteCharAt(int index)
- fortran语言能用matlab,fortran语言与matlab
- mtcnn人脸检测中将ckpt训练模型转换为 npy保存
- 大学一年级（行走的皮卡丘）
- C语言舞伴问题 PTA
- java字符串组合_Java实现abc字符串排列组合
- 衰减3dB是什么意思
- 第一章 厕所被揍 校园江湖