集员法对3D激光雷达和相机的外部校准
泡泡图灵智库,带你精读机器人顶级会议文章
标题:Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera
作者:Raphael Voges and Bernardo Wagner
来源:IROS 2020
编译:姚瀚晨
审核:wyc
转载:泡泡机器人SLAM
摘要
大家好,今天为大家带来的文章是—— 集员法对3D激光雷达和相机的外部校准(Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera)。
这篇文章与传感器的融合相关,主要介绍了3D激光雷达和相机校准时候是如何考虑不同传感器之间的误差的;
为了融合来自3D激光雷达和相机的信息,需要知道传感器坐标系之间的外部校准。
传统的外部校准方案有三个缺点:
传统的校准方法忽略了传感器误差,导致了校准失真;
传统的校准方法假设了初始平均误差为0,默认传感器每次测量接近真实值,这种假设常常失效。例如,激光雷达入射角和反射率带来的误差,可能会导致激光雷达偏移的情形;
传统的校准方法不能评估提取特征的准确性,因此不能在外部校准的时候不能通过调整特征的权重提高准确性。
本文创新点:
提出了一种基于图像的检测方法,该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合,以利用这两种方式的互补信息;
介绍基于间距的方法(interval-based approaches)来提取图像和激光点云的相应特征;
利用间距的特征设定约束满足问题(Constraint Satisfaction Problem, CSP),在仿真和实验中验证了准确性。
贡献
提出了一种基于图像的检测方法,该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合,以利用这两种方式的互补信息;
介绍基于间距的方法(interval-based approaches)来提取图像和激光点云的相应特征;
利用间距的特征设定约束满足问题(Constraint Satisfaction Problem, CSP),在仿真和实验中验证了准确性。
方法介绍
如图1所示,间隔向量(interval vectors)形成了一个框(scan box),包围了实际测量的一些点集。通过使用扫描框,可以得到平面的垂直矢量(plane normal vector)、边界线的矢量(line direction vectors)、标定棋盘的四个角上的点(corner boxes)。
图1:本文的方法概述。为了找到外部校准,如旋转矩阵R和转换向量t,在间距不确定的情况下,相机和3D激光雷达之间寻找点、线、面特征。
传感器误差模型
A.相机模型:
我们采用OpenCV库中包含的方法,用于检测相机图像中的棋盘角。因此,我们使用的原始测量是图像中的像素点。然后,针孔相机模型用于找到指向棋盘角的方向的3D向量。
不能完全检测到角的原因:
相机具有有限的分辨率,因此必须将模拟信号(即实际场景)离散地分为像素;
图像模糊,例如检测对象未处于适当的聚焦;
图像传感器受到损坏,每个像素的各个颜色通道产生了噪声,从而在角检测期间再次导致误差。
图2:检测到棋盘角(绿色点)的棋盘的示例图。各种误差源导致检测不准确(红色点)。因此,我们应用了我们的界限误差模型,来包裹真实特征的蓝色边框。
B.激光雷达模型:
由于激光雷达的激光光束和表面入射角受到传感器的环境(温度,湿度等)的影响,实际测量通常产生误差。由于无法预测此系统错误,因此无法使用已建立的随机误差模型进行建模。测量点的实际位置是不确定的,并且可以是激光光束扫描的任何位置。因此,选择基于间距的模型来考虑这种不确定性。
图3:3D盒[P]的可视化由未知但是界面的误差为球形坐标R,θ和φ产生的误差。3D盒可以保证覆盖实际测量的点P *和原始测量的点P。
主要结果
我们使用Gazebo 和实际数据生成的模拟数据来评估我们的方法。此外,将我们的方法与最先进算法进行了比较。然而,直接比较是不合适的,因为他们的方法的目标是找到最好的点值结果(point-valued result),而我们的方法旨在封闭真实的解决方案并同时表明计算的不确定性。
A.仿真数据
选择尺寸为100×76厘米的标定棋盘,其中,棋盘距离多传感器系统大约2.5米。模拟相机的像素误差遵循高斯分布,平均值为0,标准偏差为0.01。这导致相机校准期间0.3 px的最大角度检测误差。模拟3D激光雷达的型号是Velodyne VLP16。球形坐标的误差遵循均匀的分布,无需任何异常值。
首先,我们显示从一个标定棋盘姿态计算的转换参数的结果。如图所示,我们选择六种不同的棋盘姿态,以显示对不同外部校准参数的影响。
图4:六种不同棋盘姿态的模拟图像。
对于所有六个姿态,我们的方法包含真实的转换参数。然而,转换参数的准确性随着表I中的参数变化。这可以通过标定棋盘的相应姿态来解释。例如,Pose1和Pose5可以通过沿Z轴旋转和平移实现。
表I:图3中的姿势的间距半径
表II显示了相机和激光扫描仪的不同模拟误差的结果。显然,相应地调整传感器误差界限。例如,第二行示出了用于[Δpx] = [-0.4,0.4] px的间隔半径,而其他传感器误差界限保持不变。作为参考,第一行显示出了上面引入和评估的错误界限的结果。表格可以说明我们的方法可以在增加不确定性的情况下处理相机和激光扫描数据的不同误差。
表2:不同模拟误差参数的影响
接下来,展示了系统误差对我们方法的影响。我们使用总共27个棋盘姿态,包括上面所示的六个姿态,在传感器设置周围的旋转空间中均匀分布。
表3:结果显示偏误差测量对我们和最先进的方法的比较
B.真实数据
如图4所示,实验设备包括Velodyne VLP-16 LIDAR,FLIR Grasshopper3相机和100×76cm标定棋盘。相机的分辨率为1920×1200 px。激光雷达LiDAR的垂直角分辨率为2°。此外,LiDAR的旋转速率设定为5Hz,导致水平角分辨率为0.1◦。
图5:用于评估的设备概述。
我们收集了26个不同的棋盘姿势的数据。表IV显示结果。得到的间距结果和仿真结果类似。因此,我们的方法不仅可以使用外在校准并评估其准确性,还可以验证随机方法的结果。
表4:我们和最先进方法的数据结果比较
点击阅读原文, 即可获取本文下载链接。
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
集员法对3D激光雷达和相机的外部校准相关推荐
- 基于点云强度的3D激光雷达与相机的外参标定
本文提出一种新颖的方法,可以对3D lidar和带有标定板的相机进行全自动的外参标定,提出的方法能够从lidar的每一帧点云数据中利用强度信息提取标定板的角点.通过激光的反射强度和棋盘格颜色之间的相关 ...
- 3D激光雷达和相机融合
标定 相机内参标定 主要看重投影误差,cv的标定识别率也太低了...原因是找到了,相机给的曝光时间5ms,增大曝光时间成功率大大提升,但曝光时间给打了,影响实时性,头疼.. livox_lidar_c ...
- 【源码】一维测距仪和单目相机的外部校准(5自由度)
单点测距仪(激光雷达高度计)和单目视觉系统的外部校准. 激光束在摄像机图像中不可见(使用900 nm激光和带红外滤光片的摄像机进行测试). 假设激光击中带有棋盘图案的平面目标.参见示例. 需要N> ...
- 绝了!多个激光雷达和相机的快速且鲁棒的外参标定方法(代码开源)
文章:Fast and Accurate Extrinsic Calibration for Multiple LiDARs and Cameras 作者:Xiyuan Liu , Chongjian ...
- DeepFusion:基于激光雷达和相机深度融合的多模态3D目标检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨安全与性能研究室 来源丨 同济智能汽车研究所 点击进入->3D视觉工坊学习交流群 编者按: ...
- 多激光雷达与相机的外参快速精准标定(arxiv 2021)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨paopaoslam 来源丨 泡泡机器人SLAM 标题:Fast and Accurate Ex ...
- 激光雷达和相机感知融合简介
作者丨十点雨@知乎 来源丨https://zhuanlan.zhihu.com/p/446284775 编辑丨3D视觉工坊 本文介绍激光雷达和相机融合的两种方法: 前融合:融合原始数据(点云和像素/目 ...
- 激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)
作者丨十点雨@知乎 来源丨https://zhuanlan.zhihu.com/p/404762012 编辑丨3D视觉工坊 LiDAR Camera Calibration (LCC)系列,主要介绍激 ...
- LIC-Fusion 2.0:基于滑动窗口法平面特征跟踪的激光雷达惯性相机里程计
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 摘要 来自商用惯性.视觉和激光雷达传感器的多模态测量的多传感器融合提供了鲁棒和精确的6自由度姿态估计, ...
最新文章
- TCP/UDP对比总结
- Android中对话框的工具类
- Oracle:集群因子
- 布式缓存系统Memcached简介与实践
- GitLab 在多分支中的一个push
- 前端学习(1744):前端调试值之调试元素的盒模型
- 安卓如何修改华强北二代耳机敲击指令?
- JAVA虚拟机垃圾回收机制和JAVA排错三剑客
- ubuntu 16.04下git的安装与使用
- Python——分布式监控项目
- linux输入法小结
- C# Combobox可输入+自动完成
- 专业的Excel管理工具LibXL V3.8.0发布 | 附下载
- Java短信验证码-互亿无线
- 批量打印证书 php,巧用WPS2013批量打印证书
- 关于配置移动硬盘上的Eclipse+mingw+qt4.5.3的问题解决!
- 相似图片搜索——感知哈希算法
- Header Editor 插件下载、使用
- 哈希的结构-MD系列
- 使用DISM修复系统