点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨paopaoslam

来源丨 泡泡机器人SLAM

标题：Fast and Accurate Extrinsic Calibration for Multiple LiDARs and Cameras

作者：Xiyuan Liu, Chongjian Yuan, and Fu Zhang

香港大学MarS实验室

来源：arxiv 2021

编译：曹明

审核：lionheart

摘要

在这篇文章中，我们提出了一种基于自适应体素化（adaptive voxelization）的针对多激光雷达与相机的快速、精确的无标定物外参标定方法。理论层面，我们利用光束平差法的思想来进行外参标定；我们推导出了代价函数相较于外参的二阶导数，以加速优化。在实现上，我们采用自适应体素化的方法来动态分割激光雷达点云到不同尺寸的体素中，因此能够减少特征匹配的时间。我们在户外多激光雷达与相机的机器人配置场景中验证了我们的算法的鲁棒性与准确性。

主要贡献

1. 我们用BA问题来建模相机外参标定问题，并且推导出了代价函数相对于外参的Jacobian与Hessian矩阵，用以加速优化。

2. 我们实现了自适应体素化的方法来加速特征关联与激光雷达的边缘提取。

3. 我们提出了一种快速可靠且无标定物的多激光雷达与相机的标定方法。即是这些传感器的视场角重叠面积较小，甚至没有重叠，我们的方法都能够标定出较好的结果。我们在户外场景的实验验证了我们所提出的方法。

4. 我们的方法已在Github开源。

方法论

A. 总体流程

我们首先设置了一个base激光雷达(任意一个雷达都可以)，让激光雷达以固定角度旋转n次，通过LOAM算法算出base激光雷达在多个位置处的位姿。并且根据机械结构图给出多个激光雷达的外参的初始值。该方法首先联合优化base激光雷达的位姿与各个激光雷达之间的外参，随后进行激光雷达与相机的外参标定。

B. 自适应体素化

首先，根据初始的base激光雷达的位姿以及与其他激光雷达的外参，将所有激光雷达在所有时刻的点云都转换到世界坐标系中，并构建以下的自适应体素：先根据一个较大的分辨率（本文设置为4m）划分点云体素，然后对于体素内的点云，如果求得的点云的协方差矩阵的最大特征值与最小特征值的比例小于一个常数（这意味着这个体素内的点云的平面性不是很好），那么就以之前分辨率的一半将该体素划分为八个子体素，类似于八叉树，直到所有子体素都满足要求。体素划分的结果如下图所示。

C. 多相机外参标定

在上述的体素化的过程中，每个体素里不是简单的将不同激光雷达的点云混在一起，而是单独存放到vector的不同下标中。那么，对于同一个体素，设其拟合的平面的法向量为nl，该平面上任意一点为ql，则可以构建一个优化问题，通过优化平面的法向量、base激光雷达的位姿，以及各个激光雷达的外参，使得体素内所有不同激光雷达的点云的点到平面的距离最小，其公式表达为

在这篇文章中，发现先固定激光雷达位姿与外参，仅优化平面参数的时候该问题为凸优化问题。因此，首先优化各个体素内平面的参数。当获得每个体素内最佳的平面参数后，再通过LM算法迭代优化激光雷达的位姿与外参。该方法详细的推导了对应的雅克比与海森矩阵，有兴趣的读者可以详读论文参考。

D. 相机与激光雷达的外参标定

类似于文章《Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments》所提到的。对于点云中的边缘提取，检测相邻体素内的平面的夹角，如果大于固定的阈值，则将对应的平面交接处的点云提取出来作为边缘。对于相机内的边缘，使用canny算子来提取。对于相机与点云的边缘的关联，将点云中的边缘点投影到相机上，随后在二维图像坐标中搜索与其最近的canny边缘点。匹配完特征后，利用之前的方法来优化外参，其构建的问题及对应的求解流程可以详细查看该文章或者我们的推文。

实验

A.实验平台与场景

B.与之前的方法作对比的标定收敛性

之前的方法是作者自己提出的多激光雷达标定方法，纵轴为标定结果的平移误差与旋转误差，横轴为迭代次数。

C. 多激光雷达标定实验

所提出的方法与另一种基于运动的方法的标定结果比较。

D. 多激光雷达相机标定实验

总的来说，该方法的误差的均值与方差均是最低的。

Abstract

In this letter, we propose a fast, accurate, and targetless extrinsic calibration method for multiple LiDARs and cameras based on adaptive voxelization. On the theory level, we incorporate the LiDAR extrinsic calibration with the bundle adjustment method. We derive the second-order derivatives of the cost function w.r.t. the extrinsic parameter to accelerate the optimization. On the implementation level, we apply the adaptive voxelization to dynamically segment the LiDAR point cloud into voxels with non-identical sizes, and reduce the computation time in the process of feature correspondence matching. The robustness and accuracy of our proposed method have been verified with experiments in outdoor test scenes under multiple LiDAR-camera configurations.

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~