论文阅读：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera
论文题目：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera
in Targetless Environments
来源：香港大学机械工程系 南方科技大学系统设计与智能制造学院
期刊：arXiv 2021
代码：https://github.com/hku-mars/livox camera calib
摘要
在这个短文中，我们提出了一种在无目标环境下自动校准高分辨率激光雷达和RGB相机的新方法。我们的方法不需要棋盘格，但可以通过对齐两个传感器的自然边缘特征来实现像素级的精度。在理论层面上，我们分析了边缘特征所带来的约束，以及标定精度对场景中边缘分布的敏感性。在实现层面，我们认真研究了激光雷达的物理测量原理，提出了一种基于点云体素切割和平面拟合的高效、准确的激光雷达边缘提取方法。由于自然场景中边缘的丰富性，我们在许多室内外场景中进行了实验。结果表明，该方法具有较高的鲁棒性、准确性和一致性。可以促进激光雷达与相机融合技术的研究和应用。我们已经在github上开源了我们的代码，以造福于社区。
主要贡献：
- 我们仔细研究了激光雷达的测量原理，发现常用的深度不连续边缘特征在标定时既不准确也不可靠。我们提出了一种新颖可靠的深度连续边缘提取算法，可以获得更精确的校准参数。
- 我们评估了我们的方法和实施在各种室内和室外环境中的稳健性、一致性和准确性，并将我们的方法与其他先进的方法进行比较。结果表明，该方法对初始条件具有较强的鲁棒性，且与标定场景一致，在自然环境下实现了像素级的标定精度。所提方法有时的标定精度优于基于标定板的方法，并且能够扩展到固态和传统旋转的激光雷达上。
- 将算法开源并将源码上传到github上。
相关工作：
很多工作是通过将激光雷达投影到图像中，进一步使用深度或者反射率来渲染颜色图，进一步对2D颜色图提取边缘信息，匹配边缘信息得到转换矩阵。另外的工作是在三维场景中先提取三维线段，进一步投影到二维空间进行边缘对齐，但受限于当时线段提取质量，效果不佳。
方法实现部分： 该方法是基于三维点云提取三维直线特征，进一步投影到二维图像空间，在图像空间迭代计算最优的场景线边缘匹配。分为粗匹配和精匹配两个阶段：
粗匹配：
粗配准阶段是大致关联三维线和二维线特征，关联的函数是：
Nsum表示LiDAR边缘点的数量，Nmatch表示的是匹配上的LiDAR边缘点数量。匹配是基于LiDAR点投影到图像上后距离直线的方向和距离来评价的，初始匹配阶段基于网格搜索遍历所有种可能的转换参数，旋转网格大小为0.5度，平移网格大小为2cm。
精匹配部分：
1. 首先从三维点云中提取直线特征，进一步在三维点云中对直线上的点进行采样，基于粗匹配计算得到的转换矩阵，将三维边缘点投影到二维图像空间中(针孔相机投影模型)。
2. 构建数据观测误差模型：对各个观测模型构建严密的误差模型，包括图像边缘提取误差模型，激光雷达bearing direction误差模型：
构建深度测量误差模型：
从而得到点位观测与实际点位的分布关系方程：
3. 标定方程与优化：三维线上的采样点投影到二维图像上后，对应的投影点位应与二维图像上的直线满足如下关系式：
对所有检测到的边缘三维点投影后，利用非线性优化的方式求解感兴趣的未知参数，未知参数包括：二三维配准参数和观测噪声。
实验结果：
多个场景下外参计算误差都在一个像素内。
粗配准+精配准，将三维点投影到图像上。
论文阅读：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera相关推荐
- Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environment
论文链接:https://arxiv.org/pdf/2103.01627.pdf 代码链接:https://github.com/hku-mars/livox_camera_calib 主要内容 本 ...
- 【论文阅读】An Extrinsic Calibration Tool for Radar, Camera and Lidar
目录 An Extrinsic Calibration Tool for Radar, Camera and Lidar Abstract I. INTRODUCTION II. RELATED WO ...
- 论文阅读 End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds
[论文阅读] End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds 原文链接:https://arxiv ...
- 论文阅读笔记之——《FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction》
本文是对欧阳老师的paper的阅读笔记 先给出论文的地址http://papers.nips.cc/paper/7356-fishnet-a-versatile-backbone-for-image- ...
- 论文阅读——《Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM》
论文阅读--<Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLA ...
- 【阅读】Extrinsic 6DoF Calibration of 3D LiDAR and Radar
Extrinsic 6DoF Calibration of 3D LiDAR and Radar 三维激光雷达和毫米波雷达的外部六自由度标定 论文地址:https://lamor.fer.hr/ima ...
- 《论文阅读06》Calib-Anything: Zero-training LiDAR-Camera Extrinsic CalibrationMethod Using SAM
一.论文 研究领域:激光雷达-相机标定 论文:Calib-Anything: Zero-training LiDAR-Camera Extrinsic Calibration Method Using ...
- 《论文阅读》EMOTIONFLOW: CAPTURE THE DIALOGUE LEVEL EMOTION TRANSITIONS
<论文阅读>EMOTIONFLOW: CAPTURE THE DIALOGUE LEVEL EMOTION TRANSITIONS 简介 idea 来源 创新点 数据集 未来应用 代码 期 ...
- 【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
最新文章
- 我把梦打开，只为你进来
- Jacobian矩阵和Hessian矩阵的理解
- 【性能优化】 之AWR 报告分析
- 可解释性与deep learning的发展
- 数字图像处理 空间域锐化 MATLAB实验
- 最小栈设计并实现一个minstack类_栈相关
- 编程实现 带符号减法溢出判断
- mac ssh key 的获取 （转）
- Flutter-防京东商城项目-收货地址列表、增加 修改收货地址布局、弹出省市区选择器-39
- 主流计算机戴尔笔记本电脑,2017年50款笔记本电脑排行榜
- Android网络收音机项目
- oppo云服务器怎么卸载,oppo手机小布助手卸载方法_oppo手机小布助手怎么卸载-硬件之家...
- 药品召回管理办法（征求意见稿）（转）
- Windows11便签工具在哪 win11的便签在哪里打开
- python内置函数之len()方法
- 美剧24中的SAP软件
- mysql日志管理及主从复制
- 英伟达两个最新元宇宙布局
- （附源码）spring boot大学生综合素质测评系统 毕业设计 162308
- Citrix XenDesktop 简介