多传感器信息融合(标定, 数据融合, 任务融合)
文章目录
- 1. 引言
- 2. 多传感器标定
- 2.1 标定场地
- 2.2 相机到相机
- 2.2 相机到多线激光雷达标定
- 2.3 相机到毫米波雷达标定
- 2.4 相机到IMU标定
- 2.5 论文总结
- 3. 数据层融合
- 3.1 融合的传统方法
- 3.2 深度学习方法
- 4. 任务层融合
- 4.1 传统之障碍物检测跟踪
- 4.2 传统之多传感器定位
- 4.3 深度学习之障碍物检测跟踪
- 4.4 深度学习之定位
1. 引言
2. 多传感器标定
传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。
摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。
另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:
这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究。
2.1 标定场地
2.2 相机到相机
2.2 相机到多线激光雷达标定
2.3 相机到毫米波雷达标定
2.4 相机到IMU标定
虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
利用Kalibr 对 Camera-IMU 进行标定
2.5 论文总结
最近相关的标定方面的论文也出现了不少, 奇点的黄裕博士的知乎专栏有总结
3. 数据层融合
3.1 融合的传统方法
3.2 深度学习方法
4. 任务层融合
4.1 传统之障碍物检测跟踪
法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。
双目算法:
- 激光雷达和单摄像头融合
用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
- 单目和激光雷达融合
图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
- 激光雷达,摄像头和毫米波雷达融合
把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]
4.2 传统之多传感器定位
-视觉里程计和激光里程计
该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:
4.3 深度学习之障碍物检测跟踪
- 利用激光雷达和相机进行障碍物跟踪层融合:
还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。
4.4 深度学习之定位
多传感器信息融合(标定, 数据融合, 任务融合)相关推荐
- 自动驾驶算法学习:多传感器信息融合(标定, 数据融合, 任务融合)
版权声明:本文为博主转载文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明. 原文链接:https://blog.csdn.net/orange_littlegirl/ar ...
- 特征级融合_自动驾驶系统入门(七)- 多传感器信息融合
1.MISF - Multi-sensor Information Fusion 基础解析 1.1 基本概念 利用计算机技术将多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需的 ...
- 多传感器融合感知:传感器外参标定及在线标定算法详解
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[全栈算法]技术交流群 后台回复[相机标定]获取超详细的单目双目相机模型介绍.内外参标定 ...
- 自动驾驶入门技术(7)—— 多传感器信息融合(MSIF)
1.MISF - Multi-sensor Information Fusion 基础解析 1.1 基本概念 利用计算机技术将多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需的 ...
- d-s 多传感器信息融合 matlab实现_自动驾驶中的多传感器融合
一.多传感器融合多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完 ...
- matlab 信息融合,MSDF,matlab,多传感器信息融合
MSDF,matlab,多传感器信息融合 关注次数: 164 下载次数: 15 文件大小: 7.52M 下载需要积分: 1 代码分类: 开发平台: matlab 上传会员: yhcpp 下载代码 预览 ...
- 多传感器融合标定方法汇总
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|新机器视觉 本文汇总了常见的一些单传感器.多传感器的标定融 ...
- 【多传感器融合理论】03多传感器信息融合理论(上)
目录 概述 信息融合基本原理 估计方法 (加权平均法.最小二乘法.卡尔曼滤波及其变种) 加权平均法: 最小二乘法 卡尔曼滤波机及其变种 分类方法(聚类分析) 推理方法(贝叶斯方法.D-S方法) 贝叶斯 ...
- 【数据结构与算法学习笔记005】多传感器信息融合
目录 1.多传感器融合几个概念 2.基本原理 后融合算法: 前融合算法: 转自地址https://blog.csdn.net/xingdou520/article/details/84103987 多 ...
最新文章
- node.js之path模块的使用
- Atitit apache 和guava的反射工具
- 2.5亿个整数中找出不重复的整数
- Xshell更改命令提示符以及背景配色
- web developer tips (70):使用命令脚本安装IIS7
- mybatis判断集合为空或者元素个数为零
- JSP调用request方法获取请求相关信息
- Eclipce Luna 离线安装ADT23
- 企业或将借助OA走出经济危机
- 网卡不兼容linux系统,CentOS与Broadcom 5709兼容性问题导致业务网络中断
- Word转换成PDF文档怎么转换
- 开始学习英语的七个步骤。
- spss标准差与标准偏差不一样
- VMware Workstation创建Windows 8.1虚拟机
- 周鸿祎谈产品:像怀胎一样怀产品,要厚着脸皮听批评
- Win7 64位重装系统之后,IE11安装失败、升级失败之解决办法
- #3,Android Studio Android开发APP的开发语言和APP连接的数据库 总结
- golang通过onvif协议控制云台
- java砍价源码_(JAVA)仿拼多多砍价算法
- Java-根据IP统计访问次数
热门文章
- 循环语句在c语言中的作用是什么,C语言循环命令运用
- 华南理工大学计算机与科学毕业难不,华南理工大学计算机学院的什么专业最好?录取分数是多少?...
- Python使用redis中文乱码问题
- Mac OS X上的不同字体位置及功能
- 充电桩与后台服务器通迅协议,充电桩平台通讯协议.pdf
- oracle定时器定时删除30天前的数据_使用 TDengine 存储能耗数据并通过钉钉机器人接收报警信息...
- 【数据库学习笔记】Day06 - 关系数据库规范化理论
- 立体相机标定数据集_超全的3D视觉数据集汇总
- Ajax 数据异步交互
- 生命周期和钩子函数解析