毫米波雷达和视觉融合简记
毫米波雷达和视觉传感器融合笔记
- 毫米波雷达和摄像头概述
- 毫米波雷达和视觉传感器融合
- 时间融合
- 空间融合
写在前面:
1、按照信息抽象的五个层次,融合可分成五个级别,即:检测级融合、位置级融合、属性(目标识别级融合)、态势评估和威胁评估。
2、因本人还没学会在博客中插入流程图、图表等,因此本文均采用手画。
毫米波雷达和摄像头概述
毫米波雷达和视觉传感器融合
时间融合
空间融合
一、毫米波雷达和摄像头概述
首先,先简要介绍一下毫米波雷达和摄像头的测距原理:
毫米波是指工作频率在 30~100GHz,波长在1~10mm之间的电磁波。开放给民用的波段为24GHZ(厘米波)、60GHZ、77GHZ。而77GHZ是规划给汽车防撞雷达,检测距离大于160m,可全天候工作。
毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。可以用来进行测距、测速、测角度、目标有无的检测。
而视觉测距原理简单说来就是先对视野里的目标进行检测(识别),然后根据摄像头的参数(测距前需先对摄像头进行内外参数标定,具体标定原理可参考张正友老师的张世标定法,Tsai标定法,本质上是一样的,即映射。),将检测到的目标的图像坐标转换成世界坐标,由此来估算目标的世界距离。
如图1所示,为视觉及毫米波雷达传感器的优缺点简要对比:
基于视觉及毫米波传感器各自的优缺点,取长补短,将两种传感器进行融合是当前各人工智能领域(例如无人驾驶)的主流应用。
二、毫米波雷达和视觉传感器融合
对于视觉和毫米波雷达的融合,技术上的主要难点在于摄像头和雷达采样目标点的匹配、融合、多目标的关联等多方面的因素。首要考虑的就是两种传感器之间的时间、空间同步问题。分别为时间融合和空间融合。
时间融合
利用毫米波雷达和视觉传感器进行数据采集 ,需要在时间上进行同步,即实现时间上的融合。两种传感器的采样频率不同,在此,我们以毫米波雷达采样频率为25hz,摄像头采样频率为30fps为例,即,雷达数据采样间隔时间为25ms,每秒40帧;摄像头采样间隔约为33.33ms,每秒30帧。为了保证数据的可靠性,以采样周期长的传感器即摄像头的采样速率为基准,向下兼容的方式进行时间数据融合,以保证毫米波雷达和摄像头数据时间上的同步。如图2所示 ,为毫米波雷达和视觉传感器时间融合示意图。
空间融合
毫米波与视觉传感器的空间融合,简单地说,就是将两种传感器基于各自坐标系下的测量值转换到同一个坐标系上去,即,坐标系的统一。因此建立世界坐标系、毫米波雷达坐标系、相机坐标系、图像坐标系以及像素坐标系之间的转换关系,是实现毫米波雷达和视觉传感器数据的空间融合的关键,示意图如图3所示。
该同步可由传感器的联合标定实现。
坐标系之间的关系示意图如图4所示,坐标系的统一,无外乎RT矩阵的变换关系,在此不进行数学推导展开。
毫米波雷达和视觉融合简记相关推荐
- 毫米波雷达与视觉融合综述
原文地址:https://arxiv.org/pdf/2108.03004.pdf 一.背景介绍 自动驾驶中目标检测的难点:(1)视觉范围内的障碍物具有不同的尺度和长宽比 (2)障碍物之间可能存在不同 ...
- 【radar】毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合、RPN融合、弱监督融合、决策融合、深度估计、跟踪)(5)
[radar]毫米波雷达-相机-激光雷达融合相关论文汇总(特征融合.RPN融合.弱监督融合.决策融合.深度估计.跟踪)(5) Radar Camera Fusion Feature-level Fus ...
- 毫米波雷达与图像融合之CRF-Net
paper: A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection 0 引言 i ...
- 【自动驾驶】视觉与毫米波雷达数据融合技术
文章目录 一.相机介绍 二.毫米波雷达介绍 三.为什么要做传感器融合 四.相机与毫米波雷达的融合方式 五.雷达与相机联合标定 (1)毫米波雷达坐标系至世界坐标系 (2)世界坐标系至图像像素坐标系 六. ...
- 毫米波雷达视觉融合方案综述(数据级/决策级/特征级融合)
摘要:本论文详细介绍了基于毫米波雷达和视觉融合的障碍物检测方法,从任务介绍.评估标准和数据集三方面展开. 转载自:自动驾驶之心 原文地址:毫米波雷达视觉融合方案综述(数据级/决策级/特征级融合) 自动 ...
- 自动驾驶之心:毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合)
毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合) 分享一个自动驾驶之心的报告:毫米波雷达与视觉融合目标检测. 作者主页为:https://www.zhihu.com/people/nac ...
- 毫米波雷达人体存在感应,智能安防领域应用
在传统的安防系统中,一般由摄像头.录像机.红外探测器等设备组成,但是这些确存在了不少的痛点,不仅难以做到全方位的探测以及目标的精准定位而且传统的监控系统多偏向事后响应,缺少事前主动出击和主动预防的能力 ...
- 摄像头与毫米波雷达(Radar)融合
摄像头与毫米波雷达(Radar)融合 Input: (1)图像视频分辨率(整型int) (2)图像视频格式 (RGB,YUV,MP4等) (3)毫米波雷达点云信息(点云坐标位置x,y,浮点型float ...
- 【camera-radar】自动驾驶相机-毫米波雷达融合方案综述
如今的自动驾驶需要满足应多种复杂场景,因此准确的目标检测方法对于汽车的安全驾驶具有关键意义,而毫米波雷达(以下统称为雷达)与视觉融合的方法成为主流,作者的这篇文章详述了当今毫米波雷达与相机融合的不同技 ...
最新文章
- 0x05.基本算法 - 排序
- 如何重启Cloudera Manager?
- Java中JRE、JDK和JVM的区别
- 网络工程师成长日记421-某银行技术支持
- docker镜像构建工具kaniko构建过程缓慢原因探究
- QUIC实战(三) letsencrypt证书申请和自动续期
- (转)C++的 RTTI 概念和用途
- 三层架构+ajax分页实例,ASP.NET存储过程实现分页效果(三层架构)
- php 设置返回的类型是图片,PHP检查上传的图片并返回图片的真正类型【扩展名】...
- 51nod1649齐头并进-Dijkstra
- android开发学习——day3
- 按键精灵手机助手连mumu模拟器
- 专利申请过程中的重要文件总结
- Mac 输入法自动切换,代码编辑器中文状态下使用英文标点
- 舞蹈工作室舞蹈课程预约小程序开发制作
- hololens 播放video
- Mysql获取当天用户生日
- 爬去东方财富网龙虎榜(wechat:15353378609)
- 三级数据库知识点学习(五)
- html5中表单属性值_如何在HTML表单中使用Autocompletetype属性