摘自：https://zhuanlan.zhihu.com/p/48728586

小觅智能 | VINS 学习笔记（持续更新中）

小觅智能

专注立体视觉技术整体解决方案，网站 http://myntai.com

VINS 基本介绍

VINS-Mono 和 VINS-Mobile 是香港科技大学沈劭劼老师开源的单目视觉惯导 SLAM 方案。2017年发表于《IEEE Transactions on Robotics》。另外，VINS 的最新一篇论文获得了 iROS 2018 最佳学生论文奖。它是基于优化和滑动窗口的 VIO ，使用 IMU 预积分构建紧耦合框架，同时还有自动初始化，在线外参标定，重定位，闭环检测，以及全局位姿图优化功能。

VINS-Mono 是基于单目视觉惯性系统的实时 SLAM 框架，是目前非常先进的单目 VIO 算法，更是视觉与 IMU 的融合中的经典之作，其定位精度可以媲美 OKVIS，而且具有比 OKVIS 更加完善和鲁棒的初始化以及闭环检测过程，代码在 Linux 上运行，并与 ROS 完全集成。VINS-Mono 主要用于自主无人机的状态估计和反馈控制，但它也能够为 AR 应用提供精确的定位。VINS-Mobile 可以运行在 iOS 系统，值得一提的是，沈劭劼老师开源了 ROS 和 iOS 版本，前端写的很简洁，代码非常清晰，值得大家学习，链接：https://arxiv.org/pdf/1708.03852.pdf。

VINS 的整体系统框架图

前端基于 KLT 跟踪算法，后端基于滑动窗口的优化(采用 ceres 库)，基于 DBoW 的回环检测。

整体框架分为五部分，如上图所示：

1. Measuremen Preprocessing ：观测值数据预处理，包含图像数据跟踪IMU数据预积分；

2. Initialization：初始化，包含单纯的视觉初始化和视觉惯性联合初始化；

3. Local Visual-Inertia BA and Relocalization：局部 BA 联合优化和重定位，包含一个基于滑动窗口的 BA 优化模型；

4. Global Pose Graph Optimization：全局图优化，只对全局的位姿进行优化；

5. Loop detection：回环检测。

VINS 为什么采用「视觉 + IMU」融合？

单一的传感器不能适用所有的场景，比如视觉传感器在大多数纹理丰富的场景中效果很好，但是如果遇到玻璃，白墙等特征较少的场景，基本上无法工作，而通过多个传感器的融合可以达到理想的定位效果。

小觅双目摄像头采用了「双目+惯导+结构光」的融合方案

虽然 IMU 长时间使用有非常大的累积误差，但是在短时间内，其相对位移数据又有很高的精度，所以当视觉传感器失效时，融合 IMU 数据，能够提高其定位的精度。与此同时，视觉和惯性测量的互补特性，使它们特别适合融合，而鲁棒性和准确的定位与地图绘制是任何移动机器人都需要解决的主要需求。此外，这两种传感器在大多数智能手机中都有，融合可以有效解决移动手机上的视觉-惯性同时定位与制图。

卜小乂总结道：

视觉与 IMU 的融合可以借助 IMU 较高的采样频率，进而提高系统的输出频率。
视觉与 IMU 的融合可以提高视觉的鲁棒性，如视觉 SLAM 因为某些运动或场景出现的错误结果。
视觉与 IMU 的融合可以有效的消除 IMU 的积分漂移。
视觉与 IMU 的融合能够校正 IMU 的 Bias。
单目与 IMU 的融合可以有效解决单目尺度不可观测的问题。

小觅双目摄像头标准版跑 VINS 实测：

VINS 相较 OKVIS 方案搭建很快，CPU 占用率低，更适合朋友们快速上手。

VINS-Fusion

最近港科大开源的 VINS-Fusion 赢得了很多知友的关注，非常荣幸推荐我们的相机呀～

VINS-Fusion 是一种基于优化的多传感器状态估计器，可实现自主应用（无人机，汽车和 AR / VR）的精确自定位。 VINS-Fusion 是 VINS-Mono 的扩展，支持多种视觉惯性传感器类型（单目摄像机+ IMU，双目摄像机+ IMU，甚至仅限双目摄像机）。开源项目组还展示了将 VINS 与 GPS 融合的模组示例。

特征如下：

多传感器支持（立体摄像机/单声道摄像机+ IMU /立体摄像机+ IMU）

在线空间校准（相机和 IMU 之间的转换）

在线时间校准（相机和 IMU 之间的时间偏移）

视觉循环闭合

小觅双目摄像头标准版跑 VINS-Fusion 实测：

VINS 未来方向

相机和 IMU 的天然互补性和智能手机的普及，使得视觉惯性里程计 VIO 近几年很流行，苹果的 ARKit 和谷歌的 ARCore 都是 VIO 的典型应用。VIO 为将来 SLAM 的小型化与低成本化提供了一个有效的方向，而且结合稀疏直接法，有望在低端硬件上取得良好的 SLAM 或 VO 效果，是非常有未来前景的。

文章内容部分出自小觅智能 & 深蓝学院举办的公开课：

小觅智能 | 如何进行 VSLAM 技术选型

www.shenlanxueyuan.com

感兴趣的朋友可以前往观看完整内容。（网站需要注册登陆查看）

更多 SLAM 学习资源：

小觅智能 | 视觉里程计（VO）学习笔记zhuanlan.zhihu.com小觅智能 | ORB-SLAM 学习笔记zhuanlan.zhihu.com小觅智能 | 学习 SLAM 该如何入门？zhuanlan.zhihu.com小觅智能：小觅智能 | OKVIS 学习笔记zhuanlan.zhihu.com

欢迎大家点赞呀～点赞的人儿最美丽～

想购买的朋友可以点这里：

小觅智能的推荐

小觅双目深度相机系列

立即购买

小觅智能 | VINS 学习笔记相关推荐

vins中imu融合_小觅智能 | VINS 学习笔记（持续更新中）
VINS 基本介绍 VINS-Mono 和 VINS-Mobile 是香港科技大学沈劭劼老师开源的单目视觉惯导 SLAM 方案.2017年发表于<IEEE Transactions on Rob ...
小觅智能 | OKVIS 学习笔记
上一期的视觉里程计,让我们想到了 OKVIS ,知乎上的讨论也比较少,小觅智能来分享一下. OKVIS 基本介绍它是由 Stefan Leutenegge 等人提出的基于双目+惯导的视觉里程计,属于 ...
小觅智能 | VINS-kidnap 学习笔记
最近沈劭劼老师实验室又新出了一篇论文,提出了一种多世界坐标系统的相对计算和处理的全功能系统,能够减少测距漂移,从复杂的 kidnap 场景(相机被遮挡)和随机的测距故障中恢复.感谢沈老师开源,项目地址 ...
小觅智能｜MSCKF 学习笔记
转载自:https://mp.weixin.qq.com/s/shxmOtDOSVZn_eQKgs8LBw 小觅智能 |MSCKF 学习笔记知乎觅 MYNTAI小觅智能 2019-10-31 VIO ...
小觅智能亮相CAIS 2019 荣登最具商业价值AI企业百强榜
6月28日,"智能+ 拥抱未来"2019中国人工智能峰会(CAIS 2019),于南京国际博览中心圆满落幕.会上颁发了<2019年中国最具商业价值AI企业百强>榜单,备 ...
链乔教育在线|智能合约学习——以太坊智能合约学习笔记（四）
链乔教育在线|智能合约学习--以太坊智能合约学习笔记(四) 本笔记记录的是使用matemask钱包连接以太坊私链,并编写一个基本的提币智能合约部署到以太坊私链上,进行调用. 一.浏览器安装metama ...
除 Intel Realsense Dxxx 外各市面深度摄像头对比（小觅智能 D1000-IR-120/Color、INDEMIND、领晰（LEADSENSE））（212）
因为我们使用的Intel Realsense D435摄像头在使用的过程中频繁出现掉线USB问题(具体原因暂未查明,可能跟我们电脑配置软件配置有关),我们决定采购新的深度摄像头用作测试. 首先我们现在 ...
小五思科技术学习笔记之SSH
下面介绍一下相关概念: SSH的概念: SSH的英文全称为Secure Shell,SSH使用TCP的22号端口,其目的是要在非安全的网络上提供安全的远程登陆和其他安全的网络服务, 为什么要使用SSH ...
微信小程序开发：学习笔记[8]——页面跳转及传参
微信小程序开发:学习笔记[8]--页面跳转及传参页面跳转一个小程序拥有多个页面,我们可以通过wx.navigateTo推入一个新的页面.在首页使用2次wx.navigateTo后,页面层级会有三层 ...

小觅智能 | VINS 学习笔记

小觅智能 | VINS 学习笔记（持续更新中）

小觅智能 | VINS 学习笔记相关推荐

最新文章

热门文章