ICRA2022 | AutoPlace:车载单片毫米波雷达场景识别
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者丨Kaiwen Cai
来源丨 计算机视觉life
今天给大家介绍一个最新的开源工作:AutoPlace,主要用于车载单片毫米波雷达场景识别。该工作由爱丁堡大学MAPS Lab的卢晓轩团队(Kaiwen Cai, Bing Wang, Chris Xiaoxuan Lu)完成,开源了代码和数据集,可谓是一大福音!
大家快去star吧!
项目地址:https://ramdrop.github.io/assets/pages/AutoPlace/AutoPlace_customized.html
代码地址:
Code:https://github.com/ramdrop/AutoPlace
Demo如下所示
场景识别是许多机器自主任务的基础,比如回环检测和尺度定位。一般的场景识别系统使用视觉相机或者激光雷达来实现,但它们在黑暗、恶劣天气以及其他视线不佳的情况下性能会极大降低。机械毫米波雷达(如CTS-350X)可以应对一些恶劣工况,但是它体积大、成本高且必须安装在车顶,这使得难以被大规模商用。车载单片毫米波雷达是近年来新出现的商用环境感知传感器,它体积小、成本低,采集信号种类丰富(包括多谱勒速度和RCS)。但是车载单片毫米波雷达的点云稀疏又嘈杂,如何将其良好应用于场景识别是一个尚未解决的挑战。
本工作提出一套针对车载单片毫米波雷达的场景识别方法,我们称之为AutoPlace。AutoPlace挖掘车载单片毫米波雷达的Doppler Velocity和RCS两种测量物理信号,并使用深度学习网络提取点云的时间和空间信息,为每一帧点云生成一个具有强区分度的全局描述子。
下面分别介绍AutoPlace三个模块的功能和效果:
1. DPR(Dynamic Points Removal)
动态点云不属于静态环境特征,因此我们借助于雷达测量的物体Doppler Velocity来进行动态点云去除。具体来说,(1)雷达静止时,我们直接过滤Doppler Velocity大于设定阈值的点云;(2)雷达运动时,我们使用正弦曲线拟合物体位置角-Doppler Velocity曲线,拟合外点即被视为动态点并滤除。(下图中红色点为识别出的动态点)
2. SE+TE(Spatial Encoder + Temporal Encoder)
我们将点云俯视图转换成图像,然后使用多层CNN提取图像空间特征。此外,我们认为雷达的时间信息也有助于提升场景可识别度,因此将连续的三张CNN特征图输入到单层LSTM中,得到最终的点云全局描述子。
3. RCSHR(RCS Histogram Reranking)
RCS是主要由物体本身材料特性和反射角决定的物理量。在推理阶段,我们进一步提取点云的RCS的直方图特征来对取回样本进行重排。
我们在nuScenes数据集上进行了实验,相关的数据集和算法代码均已开源:
项目地址:https://ramdrop.github.io/assets/pages/AutoPlace/AutoPlace_customized.html
代码地址:
Code:https://github.com/ramdrop/AutoPlace
本文仅做学术分享,如有侵权,请联系删文。
3D视觉精品课程推荐:
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
13.重磅!四旋翼飞行器:算法与实战
14.ROS2从入门到精通:理论与实战
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
ICRA2022 | AutoPlace:车载单片毫米波雷达场景识别相关推荐
- TI单芯片毫米波雷达1642代码走读(〇)——总纲
前言 近年来,自动驾驶行业发展如火如荼,雷达技术也逐渐从军工封闭圈走向了开放的市场. 毫米波雷达具有全天候探测能力,特别是在雨雪雾天气以及夜间都能可靠工作,并且探测距离相对其他车载传感器非常远,对运动 ...
- TI单芯片毫米波雷达软件架构研究(一)
TI的mmWave的软件架构非常复杂,附加价值很高.要想搞懂,得先死磕官方的mmWave SDK user guide.这篇文章的意义就在于让你可以快速读懂这篇UG. UG分为6个部分: 开箱体验: ...
- TI单芯片毫米波雷达代码走读(二十五)—— 角度维(3D)处理流程
专栏目录链接: TI单芯片毫米波雷达1642代码走读(〇)--总纲 我们从今天开始进入近的篇章--3D处理 毫米波雷达信号处理的3个维度: 第一维度:距离 第二维度:多普勒 第三维度:角度 第二维度知 ...
- TI单芯片毫米波雷达代码走读(十五)—— 多普勒维(2D)处理之雷达参数与MATLAB仿真
我们进入2D处理之前有几个雷达参数要知道,先回顾一下<TI单芯片毫米波雷达代码走读(八)-- 距离维(1D)处理之雷达参数>,由于2D处理要检测动目标,我们把配置参数重新修改如下图所示: ...
- 为什么毫米波雷达无法识别静态物体?
作者丨汽车知家@知乎 来源丨https://www.zhihu.com/question/308426613/answer/2701475247 编辑丨3D视觉工坊 毫米波雷达,顾名思义,就是工作在毫 ...
- TI单芯片毫米波雷达xWR1642开箱例程
1. 准备工作 今天我们来运行一个开箱例程,需要准备的东西有: 开发板.电源(3A以上).电脑.数据线: 上位机界面:mmWave Demo Visualizar上位机界面(网页版或.exe),用于接 ...
- TI单芯片毫米波雷达代码走读(八)—— 距离维(1D)处理之雷达参数
今天我们通过"mmWave_Demo_Visualizer 3.1.0"上位机发送的.cfg文件来介绍1D处理时需要关心的几个雷达参数.按上一篇文章最后的步骤,我们生成了.cfg文 ...
- TI单芯片毫米波雷达代码走读(十一)—— 距离维(1D)处理之直流去除
chirp内处理void MmwDemo_interChirpProcessing()函数最后有这样两行代码: if(obj->cliCfg->calibDcRangeSigCfg.ena ...
- TI单芯片毫米波雷达代码走读(十)—— 距离维(1D)FFT
上一期我们用MATLAB对加窗后的距离维数据进行了FFT处理看到了目标和目标距离,这一期我们看看C代码是如何做FFT的,回顾一下1D处理的函数代码: /*** @b Description* @n* ...
最新文章
- MySQL数据库中的事务(四大特性)
- PTA基础编程题目集-6-11 求自定类型元素序列的中位数
- linux vim模板,FreeBSD8下的vim配置模板
- Spring的事务控制-基于xml方式
- linux命令(8)kill命令
- 送福利:ROKID 语音开发板免费送,开启你的物联网之旅
- An attempt has been made to start a new process before the current process
- IDEA 设置护眼色RGB值
- group by rollup | cube 学习
- callable线程池示例_Java Callable Future示例
- shell-数组排序
- PS 如何去掉图片中的水印
- ElasticSearch系列之什么是ElasticSearch?
- BAM MATLAB,最新DEA模型:RAM模型、BAM模型、加权SBM模型、SBM方向性距离模型计算...
- 【Linux】之 从源代码安装软件(HelloWorld)
- python风变编程和扇贝编程_到底是扇贝编程还是风变编程?
- android 简单拍照,android实现简单拍照功能
- Linux SD卡/SDIO驱动开发0-基本知识
- python成语接龙到为所欲为_Python小伙用简单爬虫实现成语接龙小游戏!
- STM32中的程序在RAM还是FLASH里运行?