基于鱼眼相机的SLAM方法介绍
本文是一篇关于鱼眼相机的SLAM的介绍以及开源demo体验的介绍,希望有兴趣的小伙伴能够自行体验,并积极分享相关内容。欢迎交流和讨论,联系邮箱:dianyunpcl@163.com
{MultiCol-SLAM} - A Modular Real-Time Multi-Camera SLAM System
CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System
两个工程都是应用在鱼眼相机上的SLAM方案,在ORB-SLAM的基础上针对鱼眼相机做了更好的适配的工作。其中MultiCol-SLAM是一种多相机的SLAM方案,能够在复杂的环境中获取更鲁棒的位姿跟踪效果,更丰富的环境信息。CubemapSLAM方案也参考了MultiCol-SLAM相机模型处理基础上,扩展为单目的鱼眼相机SLAM系统。
MultiCol-SLAM
MultiCol-SLAM这篇文章中要对相机的多项式模型进行标定,是一个多鱼眼相机SLAM系统。对ORB-SLAM和ORB-SLAM2中提出的SLAM系统进行了改进,并将其扩展到鱼眼和多鱼眼相机系统中。
在ORB-SLAM的基础上提出了新的概念和方法:
(1)多关键帧
(2)鱼眼相机模型(Scaramuzza's polynomial model)
(3)基于多相机的捆集约束方法
(4)多相机的回环检测算法
(5)等等
在程序实现方法改进了
(1) 将矩阵变换从 cv::Mat 改为 cv::Matx 和 cv::Vec
(2) 把访问图像像素或者描述子从 .at 改为 .ptr()
(3)使用g2o::SparseOptimizerTerminateAction函数作为捆集约束姿态估计的终止条件
为了处理多摄像机系统,引入了主体帧,即描述多摄像机装备运动的帧:
开源地址:https://github.com/urbste/MultiCol-SLAM
参考文献:
1. MultiCol Bundle Adjustment: A Generic Method for Pose Estimation, Simultaneous Self-Calibration and Reconstruction for Arbitrary Multi-Camera Systems
2. Improved Wide-Angle, Fisheye and Omnidirectional Camera Calibration
CubemapSLAM
因为鱼眼相机有着较大的畸变,针对鱼眼相机做了一定的区域上的处理,特别是鱼眼相机的边界处的像素直接使用mask的方式将其舍弃,能够很好的实现SLAM的功能,
CubemapSLAM是一个实时的基于功能的SLAM(同时)定位与测绘)系统为鱼眼相机的一大特色视场(FoV)。大型FoV摄像机适用于大型户外活动SLAM应用程序,因为它们增加了视觉上的重叠连续帧,捕捉更多属于静态部分的像素的环境。然而,目前基于功能的SLAM系统就是这样因为PTAM和ORB-SLAM将他们的相机模型限制在针孔上。来为了弥补这一空缺,提出了一种新的SLAM系统利用完整的FoV而不引入失真的cubemap模型
开源地址:https://github.com/nkwangyh/CubemapSLAM
参考文献:
1. {ORB-SLAM}: a Versatile and Accurate Monocular {SLAM} System
2. {ORB-SLAM2}: an Open-Source {SLAM} System for Monocular, Stereo and {RGB-D} Cameras
3. MultiCol-SLAM-a modular real-time multi-camera slam system
平台活动指南
公众号将会推送基于PCL库的点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维世界相关内容的干货分享。不仅组织技术交流群,并且组建github组群,可自由分享。交流提问。
历史文章查看点云学习历史文章大汇总
1.一起学SLAM:第三期:一起来学SLAM
2.招募乐于分享的你:点云PCL运营招募啦
3.招募计算机视觉,SLAM,三维视觉,点云等相关领域博客博主,公众号博客或者公司开设专栏,只要与平台主题相关,乐于分享,都可以与本平台合作经营,发布原创文章。并且可以加入微信,QQ交流群,认识更多志同道合的一起同行分享。
4,相机体验:图漾双目,小觅相机,奥比中光三款相机活动
有意者均可联系邮箱:dianyunpcl@163.com,或者评论文章留言。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测:MV3D-Net
三维点云分割综述(上)
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
win下使用QT添加VTK插件实现点云可视化GUI
JSNet:3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦!
【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔:非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看:点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示:
如果你对本文感兴趣,请点击“原文阅读”获取知识星球二维码,务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球,免费下载pdf文档,和更多热爱分享的小伙伴一起交流吧!
以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。
分享及合作方式:微信“920177957”(需要按要求备注) 联系邮箱:dianyunpcl@163.com,欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
基于鱼眼相机的SLAM方法介绍相关推荐
- 最新综述 | 基于深度学习的SLAM方法:面向空间机器智能时代
最新综述 | 基于深度学习的SLAM方法:面向空间机器智能时代 A Survey on Deep Learning for Localization and Mapping Towards the A ...
- OmniSLAM:多鱼眼相机的SLAM系统
作者 | dianyunPCL 编辑 | 点云PCL 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[SLAM]技术交流群 后台回复 ...
- 激光slam学习日记——基于滤波器的激光SLAM方法
激光slam学习日记--基于滤波器的 基于滤波的方法不适合大型场景,因为误差慢慢累积,没办法修复. 贝叶斯与频率学派相对应,贝叶斯估计概率,频率估计数值 粒子滤波:贝叶斯中的一个特例 一.贝叶斯估计 ...
- 综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍
文章:Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey & Challenges ...
- 【开源方案共享】VDO-SLAM:基于视觉的动态SLAM感知系统
点云PCL免费知识星球,点云论文速读. 标题:VDO-SLAM: A Visual Dynamic Object-aware SLAM System 作者:Jun Zhang , Mina Henei ...
- 基于全景相机的深度学习综述
文章:Deep Learning for Omnidirectional Vision: A Survey and New Perspectives 作者:Hao Ai˚, Zidong Cao˚, ...
- 自动驾驶中基于地图的视觉定位方法
点云PCL免费知识星球,点云论文速读. 文章:Visual Map-based Localization applied to Autonomous Vehicles 作者:JEAN-ALIX DAV ...
- 视觉SLAM之鱼眼相机模型
最近研究了视觉SLAM中不同的鱼眼相机模型,其中包括: Scaramuzza的鱼眼相机模型 代表性的SLAM工作为MultiCo-SLAM,是一个以ORB-SLAM为基础的扩展的多鱼眼相机视觉SLAM ...
- 最新导航综述!SLAM方法/数据集/传感器融合/路径规划与仿真多个主题
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心[SLAM]技术交流群 后台回复[SLAM综述]获取视觉SLAM.激光SLAM.RGBD ...
最新文章
- Jquery 复选框全选与反选点击执行一次然后失效解决方案
- Neverout:一款新的沉浸式益智游戏
- P6378-[PA2010]Riddle【2-SAT】
- java 截串_java字符串截取
- 算法竞赛入门经典 第五章总结1
- jsp mysql书店源码_使用jsp数据库mysql实现网上购物书店课程设计
- java swing 图片容器_Java Swing中两种设置背景图(容器图片)
- String和StringBuffer的区别
- linux ruby作用域,浅谈ruby语言中的一些概念(lambda, proc, block)
- Anonymous Shared Memory android 匿名共享内存
- Hugging Face Course-Introduction学习小记 (part1)
- godaddy无法修改域名服务器,GoDaddy域名修改DNS教程 - 修改DNSPOD及CLOUDXNS免费DNS
- 微信公众号oauth授权
- 群辉docker安装树莓派镜像_群晖 Docker 安装 AriaNg+File Browser
- 安卓手机能提取当前页面的链接吗_如何获取一个app内的网页地址?
- 会议OA之我的会议(排座送审)
- 同济大学软件学院万院长谈择业(转载)
- 想知道手机视频压缩app哪个好用?这几个工具值得一试
- 简单实用的Linux可视化监控工具——WGCLOUD
- 软件自动化测试图片,常见的机器视觉图像处理软件自动化检测软件介绍