点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

1

摘要

广角摄像头拍摄的稠密3D地图有利于导航和自动驾驶等机器人应用.在这项工作中,我们提出了一种实时稠密三维鱼眼相机建图方法,无需显式校正和不失真.我们扩展了传统的变分立体方法,通过使用由摄像机运动引起的轨迹场来约束沿外极曲线的对应搜索.与传统的校正方法相比,我们还提出了一种在不增加处理时间的情况下生成轨迹场的快速方法.通过我们的实现,我们能够使用现代图形处理器实现实时处理.我们的结果显示了我们的非校正稠密建图方法相对于校正变分方法和非校正离散立体匹配方法的优势.

2

介绍

广角(鱼眼镜头)相机在机器人应用中有着重要的用途.由于与针孔摄像机模型相比，鱼眼摄像机具有更宽的视场(FOV)，因此在相同的传感器区域中包含了更多的信息,这对于物体检测、视觉里程计和3D重建尤其有利.

使用鱼眼相机进行实时密集3D绘图有几个优势,尤其是在导航和自主驾驶方面.例如,宽广的视野允许同时可视化和观察不同方向的物体.

几种方法已经解决了鱼眼相机的3D建图问题.最常见的方法是将图像校正为透视投影,这基本上消除了这种宽FOV摄像机的主要优点.此外,靠近图像边缘的信息高度失真,而靠近中心的对象被高度压缩,更不用说由于空间采样而增加不必要的图像质量下降.保留鱼眼宽FOV的其他矫正方法包括在球体上进行重投影,球体遭受类似的退化,尤其是在两极周围.我们通过直接处理失真图像而不进行校正或不失真来解决这些问题.

我们将我们的方法嵌入到一个变化的框架中,与离散的立体匹配方法相比,这种方法本质上产生了平滑的稠密地图.我们建议使用一个轨迹场来约束沿核线曲线的相应像素的搜索空间.我们还提出了一种快速生成轨迹场的方法,与传统的变分方法相比,该方法不需要额外的处理时间.

我们提出的方法的优点是双重的.首先,在没有校正或不失真的情况下,传感器级图像质量得以保持.其次,我们的方法可以处理任意的相机失真.虽然本文的结果集中在鱼眼相机上,但将我们的方法应用于其他相机模型是简单的.

与传统的校正方法相比,我们的结果显示了额外的精确测量,与未校正的离散方法相比,我们的结果显示了更精确和稠密的估计.最后，通过我们的实现，我们能够在鱼眼双目摄像机系统和现代图形处理器上实现实时处理.

3

实验

图一是鱼眼立体相机上的Non-rectified variational方法结果.

图二是双目鱼眼镜头立体的校准(左)和轨迹(右)场

图四是选择warping迭代时精度和处理时间之间的权衡

图五:限制每次迭代的δu的大小减少了清晰图像梯度和遮挡边界周围的误差.

图6:视差的精确度(错误像素的百分比,τ).对于不同的warping迭代值N限制δu的大小.

图7:不同视场(和)的[2]与我们方法的比较.我们通过使用我们的方法比较视差误差以及准确度提高的百分比

图八是真实和合成数据的样本结果和我们的方法与视差误差

表一展示了校正、未校正和我们的方法的视差误差比较.

4

结论

在本文中,我们提出了一种处理鱼眼相机的warping技术,该技术适用于不需要显式图像校正的variational stereo估计方法.我们表明,与不增加处理时间的传统方法相比,我们的方法可以实现更高和更均匀的精度和更大的FOV.

由于鱼眼相机的FOV更宽,大多数variational方法的缺点,即处理大位移(宽基线或物体附近)被 highlighted.然而,这可以通过使用大位移技术或用谨慎的方法初始化(如平面扫描)来克服.

- END -

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~