推荐一些视觉SLAM的深度学习方法（下）

2024-06-11 14:30:39

这里重点在RNN/LSTM的应用。

11. DeepVO: Towards End-to-End VO with Deep Recurrent CNNs

基本上这个方法是依赖CNN提取的特征在RNN（LSTM）学习pose的连续估计。如图所示

更细致的RNN网络结构如图

其中的LSTM结构图如下

12. GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks

这个方法采用GAN学习depth和VO，基本框架如图

具体的模型架构如下图

13. Guided Feature Selection for Deep Visual Odometry

这个北大的工作，通过深度学习学习特征选择过程，通过RNN网络实现VO（rotation和translation分开估计），这里RNN是ConvLSTM，其框架如下

其中采用LSTM和guided model的组合方式如图（b）所示：

更具体的guided model架构如下（一个SENet类似的架构）

14. MagicVO: End-to-End Monocular Visual Odometry through Deep Bi-directional Recurrent Convolutional Neural Network

也是VO的工作，这里采用双向RCNN （CNN+LSTM）框架，如图所示：

具体模型架构如图：最后通过FCL得到pose估计。

其中Bi-LSTM的细节如下：

15. Sequential Learning of Visual Tracking and Mapping Using Unsupervised Deep Neural Networks

这是基于非监督学习的SLAM方法，采用CNN+LSTM的架构，双目图像序列训练，单目测试，其框架如图所示

其中模型架构细节如下：

LSTM的细节如下：输入的是depthnet的feature和posenet的feature两路组合。

16. Learning By Inertia: Self-supervised Monocular Visual Odometry For Road Vehicles

该VO方法采用多帧图像的自监督训练方法，还是CNN+RCNN的组合，其中包括depth，pose和segmentation的front end（似乎是简单的前景-背景模式），测试不需要输出segmentation，如图所示

其CNN模型和RNN的架构如下：depth和pose两部分

17. SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked GANs

这也是基于GAN的VO方法，同样采用depth和pose，框架如下图

时域的扩展框架如图所示

18. Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry

基于对抗学习的方法做自监督VO，采用optic flow，时域基于LSTM建模，如图

更具体的架构如下：这里depthnet和poseMaskNet同时做生成器，感觉optic flow不是深度学习得到的。

19. SelfVIO: Self-Supervised Deep Monocular Visual-Inertial Odometry and Depth Estimation

还是基于GAN，但加入惯导和VO融合，即VIO，框架如下

深度学习架构具体如下图：CNN+LSTM组合，depth和pose同时做输入，还有IMU融合。

20. Recurrent Neural Network for (Un)supervised Learning of Monocular Video Visual Odometry and Depth

基于RNN的非监督/监督VO方法，其框架如图所示：convLSTM得到的depth和pose，基于optic flow的前向-后向warping损失计算做训练。

具体的depthnet和posenet架构如下：

具体参数如下表：

21. Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling

这是NEC美研的一个自监督深度学习的CNN+LSTM方法，其架构如图所示

两步的训练框架（短时和长时序列）如图：分别是左右两个，采用depth和pose，各接一层convLSTM，

而循环连续性的两层LSTM姿态关系如图

结束

发布于昨天 12:01

推荐一些视觉SLAM的深度学习方法（下）相关推荐

推荐一些视觉SLAM的深度学习方法（上）
最近也看了一些VSLAM综述文章,这里收集一些论文推荐供参考. 1.Deep Direct Visual Odometry 这篇论文把DL模型的姿态估计做为传统方法DSO的初始化.如图 DL 模型架构 ...
视觉SLAM如何基于深度学习闭环检测？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:计算机视觉life 请问有做视觉SLAM基于深度学习闭环 ...
视觉SLAM笔记（2）相机
视觉SLAM笔记(2) 相机 1. 相机分类 2. 单目相机 3. 双目相机 4. 深度相机 1. 相机分类在 SLAM 中,非常强调未知环境在理论上,没法限制"小萝卜"的使用 ...
ICRA 2021论文汇总：视觉-惯性/视觉SLAM
作者丨zzyy@知乎来源丨https://zhuanlan.zhihu.com/p/388715878 编辑丨3D视觉工坊一.视觉惯性组合(21) 1.cooperative Transporta ...
机器人定位导航技术激光SLAM与视觉SLAM谁更胜一筹？
定位技术是机器人实现自主定位导航的最基本环节,是机器人在二维工作环境中相对于全局坐标的位置及其本身的姿态.目前SLAM (Simultaneous Localization and Mapping即时 ...
浅谈机器人的定位技术激光SLAM VS 视觉SLAM
定位技术是机器人实现自主定位导航的最基本环节,是机器人在二维工作环境中相对于全局坐标的位置及其本身的姿态.目前SLAM (Simultaneous Localization and Mapping即时 ...
激光SLAM与视觉SLAM的区别
目前,SLAM技术被广泛运用于机器人.无人机.无人驾驶.AR.VR等领域,依靠传感器可实现机器的自主定位.建图.路径规划等功能.由于传感器不同,SLAM的实现方式也有所不同,按传感器来分,SLAM主要 ...
机器人定位技术激光SLAM与视觉SLAM谁更胜一筹？
定位技术是机器人实现自主定位导航的最基本环节,是机器人在二维工作环境中相对于全局坐标的位置及其本身的姿态.目前SLAM (Simultaneous Localization and Mapping即时 ...
视觉SLAM总结——视觉SLAM面试题汇总
视觉SLAM总结--视觉SLAM面试题汇总视觉SLAM总结--视觉SLAM面试题汇总 1. SIFT和SUFT的区别 2. 相似变换.仿射变换.射影变换的区别 3. Homography.Essen ...

最新文章

热门文章