点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨paopaoslam

来源丨泡泡机器人SLAM

标题：Continuous Scale-Space Direct Image Alignment for Visual Odometry from RGB-D Image

作者：Yassine Ahmine, Guillaume Caron, Fatima Chouireb, and El Mustapha Mouaddib

来源：2021 IEEE International Conference on Robotics and Automation (ICRA 2021)

编译：李健

审核：Zoe，王靖淇

摘要

本文提出了一种新的稠密 3D 图像对齐算法，该算法根据像素强度估计一对相机位姿之间的欧氏变换矩阵。其创新之处在于使用图像的尺度空间表示，在多分辨率图像金字塔的每个层级内进行自动尺度适应。这是通过在同一优化框架中不断优化尺度参数和相机位姿参数来完成的。本文所提出的方法显著地提高较大的帧间运动的直接图像对齐的鲁棒性。在TUM RGB-D 数据集上的各项实验表明，该算法优于前沿的基于固定尺度金字塔的对齐方法。

图1.  所考虑的算法目标是对齐一对图像{I1,  I2}，其中对齐产生的图像是 GI2(W, λ) 和 I2(W)。基于固定尺度金字塔的方法无法对齐图像，因为它陷入局部最小值中，而基于优化尺度金字塔的方法能够成功对齐，因为它能够自适应调整图像平滑以抑制局部最小值。

图2. 上图：如图所示为每个自由度的代价函数与粒度最大金字塔层级的尺度空间自由度相结合。中间：λ = 5 和 λref = 1 的剖面图。底部：λ = 0.1 和 λref = 1 的剖面图（相当于固定比例的情况）

图3. 优化过程中归一化光度误差的变化(对于每个金字塔层)和相应的尺度参数。蓝线表示λ在每次迭代时的值(x轴)，红色虚线表示λref。

表I. 本文提出的方法和PP-B方法在fr1/room序列上的RPE（相对位姿误差）统计。

表II. 本文提出的方法和PP-B方法在fr1/desk序列上的RPE（相对位姿误差）统计。

表III. 本文提出的方法和PP-B方法在fr2/desk序列上的RPE（相对位姿误差）统计。

表IV. 本文提出的方法和PP-B方法在fr2/desk序列上的RPE（相对位姿误差）均方根误差和平均值。

表V. 本文提出的方法和PP-B方法在fr1/desk序列上的RPE（相对位姿误差）均方根误差和平均值。

表VI. 本文提出的方法和PP-B方法在fr1/room序列上的RPE（相对位姿误差）均方根误差和平均值。

表VII.  本文提出的方法和PP-B方法在fr2/desk序列上的ATE（绝对轨迹误差）均方根误差和平均值。

图4. fr1/desk和fr1/room序列中不同图像步（image step，连续的一组图像）中的图像对示例

表VIII.  本文提出的方法和PP-B方法在fr1/desk序列上的ATE（绝对轨迹误差）均方根误差。

表IX.  本文提出的方法和PP-B方法在fr2/desk序列上的ATE（绝对轨迹误差）均方根误差。

图5. fr1/floor序列中谈及的图像步的ATE（绝对轨迹误差）均方根误差和平均值的变化（单位：m）

图6. fr1/desk序列中图像步为1时的相机速度（a）、相机加速度（b）和估计误差（c）随时间的变化

图7. fr1/desk序列中图像步为4时的相机速度（a）、相机加速度（b）和估计误差（c）随时间的变化

图8. 每个轨迹的绝对误差如图所示。对于 fr1/room 序列，考虑不同的图像步数：1 (a)、2 (b)、3 (d) 和 4  (e)。(c) 和 (f) 分别显示了图像步为 1 和 4 的估计轨迹以及真值（在 xy 平面上）。PP-B 和新的 OP-B 方法分别为红色和蓝色。真值轨迹为黑色。

图9. 每个轨迹的绝对误差如图所示。对于 fr1/desk 序列，考虑不同的图像步数：1 (a)、2 (b)、3 (d) 和 4  (e)。(c) 和 (f) 分别显示了图像步为 1 和 4 的估计轨迹以及真值（在 xy 平面上）。PP-B 和新的 OP-B 方法分别为红色和蓝色。真值轨迹为黑色。

图10. 每个轨迹的绝对误差如图所示。对于 fr2/desk 序列，考虑不同的图像步数：1 (a)、2 (b)、3 (d) 和 4  (e)。(c) 和 (f) 分别显示了图像步为 1 和 4 的估计轨迹以及真值（在 xy 平面上）。PP-B 和新的 OP-B 方法分别为红色和蓝色。真值轨迹为黑色。

图11. 每个轨迹的绝对误差如图所示。对于 fr1/floor 序列，考虑每张图像（a）和 2取1的图像（c）， (b) 和 (d) 分别显示了图像步为 1 和 2的估计轨迹以及真值（在 xy 平面上）。PP-B 和新的 OP-B 方法分别为红色和蓝色。真值轨迹为黑色。

Abstract

In this paper, we propose a novel dense 3D image alignment algorithm that estimates the Euclidean transformation between pairs of camera poses from pixel intensities. The novelty consists in the automatic scale adaptation within each level of a multi-resolution image pyramid, using the scale-space representation of images. This is done through the continuous optimization of a scale parameter along with camera pose parameters in the same optimization framework. The proposed approach permits to significantly improve the robustness of the direct image alignment to large inter-frame motion. Various experiments on the TUM RGB-D dataset show that the proposed algorithm outperforms a fixed scale pyramidbased state-of-the-art alignment method.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章

百度网盘提取码：iv7g

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近5000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~