论文笔记_S2D.45_DeepVO: 基于深度循环卷积神经网络的端到端视觉里程计

1. 文章以及整体结构
文章：DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（基于深度循环卷积神经网络的端到端视觉里程计）
作者：Sen Wang, Ronald Clark, Hongkai Wen and Niki Trigoni
来源：ICRA2017

deepvo网络结构如下：CNN+RNNs （单目VO）

CNN网络的结构：

RNNs网络的结构：
（学习完理解之后再来补上…）

参考的deepvo解析文章：【泡泡图灵智库】DeepVO

自己的理解：
a. 使用一种新型的网络–深度递归卷积神经网络（RNNs），设计出一种新颖的端到端的单目vo框架。
b.网络结构为CNN+RNNs，CNN自动学习有效的特征表示，RNN对时序模型（运动模型）、数据关联模型（图像序列）进行隐式建模。
c.使用的数据集为KITTI数据集中的灰色图像集为： data_odometry_poses.zip和data_odometry_gray.zip

2. 代码运行：
参考的代码：https://github.com/Kallaf/Visual-Odometry
数据集：KITTI官网

odometry-------Download odometry data set (grayscale, 22 GB)+Download odometry ground truth poses (4 MB)

运行环境：.ubuntu16.04+Python+创建一个虚拟环境，在虚拟环境中安装tensorflow、opencv、opencv-contrib+jupyter notebook
创建虚拟环境教程链接：ubuntu16.04下安装&配置anaconda+ tensorflow 新手教程
安装完之后测试一下import cv2，看是否会报错，如果报错，则参考链接：No module named cv2的完美解决方法！

或：

import sys
sys.path.remove('/opt/ros/kinetic/lib/python2.7/dist-packages')

3. 运行注意事项：

a. 数据集很大，两个文件一共23GB，为了下载数据集，我买了迅雷的会员，下载了一天一夜才搞定（请不要嘲笑我，哈哈）下载完之后发现ubuntu内存不够，安装双系统的时候只分了60G（不知道当时脑子咋想的，还觉得60G很大了，O(∩_∩)O~）下载好数据集后，由于空间不够，连解压都解压不了，悲痛欲绝，然后我又把自己的ubuntu扩容到了快300G，ubuntu16.04的扩容方法在下一篇博客。
b.参考的源代码中的Mount drive部分不需要运行，这部分是用了谷歌上的虚拟GPU，我们在自己的笔记本上运行，不需要这部分，如下截图:
(如果自己有谷歌账号，想在谷歌上使用虚拟GPU运行，可以点击open in colab)

c.需要修改的部分：自己的数据集存放位置。数据集解压之后都会有一个dataset文件夹，把sequences和poses两个文件夹放同一个dataset文件夹下，代码中的数据集路径为…/dataset/

4. 总结：
目前只是运行出来和github中的结果一样，但有很多不理解的地方，下一步理解之后再来更新。

参考:

深度视觉里程计DEEPVO(ICRA)的运行笔记

论文笔记_S2D.45_DeepVO: 基于深度循环卷积神经网络的端到端视觉里程计相关推荐

se2lam翻译：基于 SE (2)-XYZ 约束的地面车辆视觉-里程计定位与建图
摘要-本文关注的是地面车辆使用里程计和单目视觉传感器的SLAM问题,为了改进基于视觉的地面车辆估计精度,研究人员利用了近似平面运动的约束,通常将其作为 SE (3)位姿的随机约束来实现,在本文中提出了 ...
【论文笔记】《基于深度学习的中文命名实体识别研究》阅读笔记
作者及其单位:北京邮电大学,张俊遥,2019年6月,硕士论文摘要实验数据:来源于网络公开的新闻文本数据:用随机欠采样和过采样的方法解决分类不均衡问题:使用BIO格式的标签识别5类命名实体,标注11 ...
（每日一读2019.10.17）基于SE(2)-XYZ约束的地面车辆视觉里程计定位与地图构建
论文:pdf 中文下载地址:pdf -----word 代码下载地址:code 论文提出了一种基于里程计和单目视觉图优化的地面车辆定位和建图框架. 与一般的基于SE3姿态优化的视觉slam或一些随机对 ...
视觉SLAM十四讲学习笔记-第七讲-视觉里程计-特征点法和特征提取和匹配实践
专栏系列文章如下: 视觉SLAM十四讲学习笔记-第一讲_goldqiu的博客-CSDN博客视觉SLAM十四讲学习笔记-第二讲-初识SLAM_goldqiu的博客-CSDN博客视觉SLAM十四讲学习 ...
视觉里程计 matlab实现,深度 | 视觉里程计---推导公式来了
原标题:深度 | 视觉里程计---推导公式来了作者:Taylor Guo 博客: 视觉里程计问题的公式推导假设在时间k,通过相机移动,追踪环境图像.如果是单目相机,k时间上拍摄的一组图像表示为I0 ...
论文翻译：基于深度卷积神经网络的肉鸡粪便识别与分类
Recognition and Classification of Broiler Droppings Based on Deep Convolutional Neural Network 基于深度卷 ...
阅读笔记3：基于深度学习的运动想象脑电信号分类算法研究
1.论文信息题目:基于深度学习的运动想象脑电信号分类算法研究作者佟歌单位:哈尔滨工程大学控制科学与工程发表时间:201803 2.笔记 2.1 脑电信号采集及预处理 2.1.1脑电信号分析方法 ...
基于深度卷积神经网络进行人脸识别的原理是什么？
原文:https://www.zhihu.com/question/60759296 基于深度卷积神经网络进行人脸识别的原理是什么? 这里的人脸识别包括但不限于:人脸检测,人脸对齐,身份验证识别,和表 ...
一种基于深度卷积神经网络（DCNN）用于于头发和面部皮肤实时分割方法
团队信息摘要现代的语义分割方法通常过于关注模型的准确性,因此引入繁琐的主干,这会带来沉重的计算负担和内存占用.为了解决这个问题,作者提出了一种基于深度卷积神经网络(DCNN)的高效分割方法,用于头 ...
基于深度卷积神经网络的目标检测研究综述
基于深度卷积神经网络的目标检测研究综述人工智能技术与咨询来自<光学精密工程> ,作者范丽丽等摘要:作为计算机视觉中的基本视觉识别问题,目标检测在过去的几十年中得到了广泛地研究.目标检 ...

论文笔记_S2D.45_DeepVO: 基于深度循环卷积神经网络的端到端视觉里程计

论文笔记_S2D.45_DeepVO: 基于深度循环卷积神经网络的端到端视觉里程计相关推荐

最新文章

热门文章