nuscenes数据集关于毫米波雷达的操作

一、对应的sample提取对应的radar文件

nusc = NuScenes(version='v1.0-mini',dataroot= '../data/nuscenes/',verbose=True)mysample=nusc.sample[10]        #sample
print(mysample)
#nusc.render_sample_data(mysample['data']['RADAR_FRONT'])
radartoken= 'dfce1c7ce9994dc3872ccd4809b56c94'      #提取出对应的radartoken
sample_data=nusc.get('sample_data',radartoken)
filename=sample_data.get('filename')
print(filename)

二、radar点云可视化

nusc.render_sample_data(mysample['data']['RADAR_FRONT']) #只显示radar点云


nusc.render_pointcloud_in_image(mysample['token'],pointsensor_channel='RADAR_FRONT')  #将点云投到图像上

三、将点云投影到前摄像头像素坐标系中

nuscenes毫米波雷达转换的基本思路：

1.将毫米波点云从传感器坐标转到自车坐标—>2.将自车坐标系转到世界坐标系----->3.将图像时间戳从全局转向自车坐标系—>4.从自车再转到相机坐标系

#step1首先获取一个sample的cam_front的token和radar的token，进而获得前摄像头与radar的sample_data
nusc = NuScenes(version='v1.0-mini',dataroot= '../data/nuscenes/',verbose=True)
mysample=nusc.sample[10]
print(mysample)
radartoken= 'dfce1c7ce9994dc3872ccd4809b56c94'
camtoken='81b6368f6af9417684cefeb6661a14e7'
#radar的sample_data
rsdata=nusc.get('sample_data',radartoken)
print(rsdata)
#cam的sample_data
csdata=nusc.get('sample_data',camtoken)

#step2将点云从自身传感器坐标系转到自车坐标系框架中
radar_cs = nusc.get('calibrated_sensor', rsdata['calibrated_sensor_token'])
pc.rotate(Quaternion(radar_cs['rotation']).rotation_matrix)    #将四元数转为旋转矩阵，然后再旋转
pc.translate(np.array(radar_cs['translation']))

#step3将点云自车转到世界坐标系框架
poserecord = nusc.get('ego_pose', rsdata['ego_pose_token'])
pc.rotate(Quaternion(poserecord['rotation']).rotation_matrix)
pc.translate(np.array(poserecord['translation']))

step4将图像从世界坐标系转到自身坐标系
poserecord = nusc.get('ego_pose', csdata['ego_pose_token'])
pc.translate(-np.array(poserecord['translation']))
pc.rotate(Quaternion(poserecord['rotation']).rotation_matrix.T)

#将图像从自身转到相机坐标系
cs_record = nusc.get('calibrated_sensor', csdata['calibrated_sensor_token'])
pc.translate(-np.array(cs_record['translation']))
pc.rotate(Quaternion(cs_record['rotation']).rotation_matrix.T)
print(pc.points.shape)    #18*69

nuscenes数据集关于毫米波雷达的操作相关推荐

详解4D毫米波雷达数据集（VOD）Multi-class Road User Detection with 3+1D Radar in the View-of-Delft Dataset
Multi-class Road User Detection with 3+1D Radar in the View-of-Delft Dataset 本文介绍一个新的自动驾驶数据集:VOD,论文收 ...
【radar】毫米波雷达相关数据集（检测、跟踪、里程计、SLAM、定位、场景识别）总结（1）
毫米波雷达相关数据集(检测.跟踪.里程计.SLAM.定位.场景识别)总结(1) Radar相关产品和链接 TI AWR2243 Arbe Phoenix Continental ARS 540 Ocu ...
nuScenes数据集详细介绍
nuScenes网上介绍资料较多,但是大部分仅仅是对官网的翻译,缺乏各个文件的内在联系介绍.例如,nuScenes激光雷达的数据格式,点云包含哪几种属性.再比如,sample文件夹和sweeps文件夹 ...
最全的整理：毫米波雷达在检测、分割、深度估计等多个方向的近期工作及简要介绍
前情回顾在之前,我已经有介绍过毫米波雷达在2D视觉任务上的一些经典网络[自动驾驶中雷达与相机融合的目标检测工作(多模态目标检测)整理 - Naca yu的文章 - 知乎],总结概括而言,其本质上都是 ...
ICRA2022 | AutoPlace：车载单片毫米波雷达场景识别
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Kaiwen Cai 来源丨计算机视觉life 今天给大家介绍一个最新的开源工作:AutoPl ...
nuScenes 数据集（CVPR 2020）
nuScenes 数据集(CVPR 2020) 摘要 1. 引言 1.1 贡献 1.2 相关数据集 2. nuScenes数据集 3. 任务和指标 3.1 检测 3.2 跟踪 4. 实验 4.1 基线 ...
【论文笔记】—毫米波雷达穿雾式高分辨率成像—Supervised—HawkEye系统—2020-CVPR
题目:Through Fog High-Resolution Imaging Using Millimeter Wave Radar 利用毫米波雷达进行穿雾式高分辨率成像 DOI:10.1109/CV ...
传感器仿真模型一览 | 摄像头激光雷达毫米波雷达
作者 | 黄浴编辑 | 汽车人点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[多传感器融合]技术交流群后台回复[相机标定]获取 ...
Nuscenes 数据集浅析
Nuscenes 数据集浅析参考:Nuscenes官网链接注意:文中存在官网还未更新的内容,一般采用红色部分,进行标记. 1.数据集简要介绍 nuScenes 数据集(发音为 /nuːsiːnz/ ...

nuscenes数据集关于毫米波雷达的操作

nuscenes数据集关于毫米波雷达的操作相关推荐

最新文章

热门文章