摘要

大多数基于CNN的方法，都是单一图像，在这种情况下，所提出的基于深度学习的方法都没有利用有价值的时间平滑性约束，往往导致每帧误差大于相机运动的情况。本文提出了一个循环模型，用于对视频片段进行6-DoF定位。

贡献

本文提出一个递归模型，通过使用多帧的姿势预测来减少姿势估计的误差。

1.CNN-RNN模型。

2.在网络中整合了一种获得姿势估计的瞬时协方差的方法。

3.本文对两个大型开放数据集进行了评估，并回答了一个重要的问题：我们的方法与作为后处理步骤的简单平滑姿态估计相比如何？

模型

本文的模型使用CNN处理视频图像帧，并通过一个双向的LSTM整合时间信息。

图像特征：CNN

模型的CNN部分的目标是从输入图像中提取相关的特征，VidLoc采用GoogleNet Inception的架构，只使用GoogleNet的卷积层合池化层，放弃所有的全连接层。

双向RNN

当使用具有时间连续性的图像流时，通过利用时间上的规律性可以获得大量的姿势信息。例如，相邻的图像通常包含同一物体的视图，这可以提高对某一特定位置的信心。

为了捕捉这些动态的依赖关系，我们在网络中使用了LSTM模型。

标准LSTM有一个限制是它只能利用以前的背景信息来预测当前的输出。由于这个原因，我们采用了双向结构。一个向前处理数据，一个向后处理数据。

损失函数

概率性姿态估计

为了对姿势的不确定性进行建模，我们采用了混合密度网络方法。

实验

数据集：7-Scenes和Oxford RobotCar

7-Scenes

序列长度的影响

下图描述了定位误差与所用序列长度的关系。

Oxford RobotCar

所选的图像序列对于全局重定位来说非常具有挑战性。如图所示，这些图像大部分都是道路和树木，它们没有明显和一致的外观特征。

图9显示，随着序列长度的增加，所提出的方法的结果有所改善，长度为50和100的重定位结果与道路一致。

图10表明定位结果是平滑和准确的。

总结

在未来的工作中，作者打算研究更好地利用深度信息的方法。

VidLoc：A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization用于6-DoF视频片段重新定位的深度时空模型相关推荐

Zero-shot Learning零样本学习论文阅读（五）——DeViSE:A Deep Visual-Semantic Embedding Model
Zero-shot Learning零样本学习论文阅读(五)--DeViSE:A Deep Visual-Semantic Embedding Model 背景 Skip-gram 算法算法思路 ...
深度学习之Deep Image CTR Model
DICM in AMS DICM in AMS 摘要 1 引言 2 相关工作 3 DEEP IMAGE CTR MODEL 3.1 展示广告系统 3.2 问题描述 3.3 利用图像建模 4 AMS 4 ...
推荐系列论文九-Deep Image Ctr Model
[DICM]Image Matters: Visually modeling user behaviors using Advanced Model Server 论文地址前言最近工作都比较忙,一 ...
DeViSE: A Deep Visual-Semantic Embedding Model
摘要现代视觉识别系统受限于其能力为:扩大大规模数量的目标类别. scale to large numbers of object categories text data :文本数据这篇文章我们提 ...
2018_IJCAI_DELF: a dual-embedding based deep latent factor model for recommendation
[论文阅读笔记]2018_IJCAI_a dual-embedding based deep latent factor model for recommendation-(IJCAI, 2018.0 ...
CTR深度学习模型之 DSIN(Deep Session Interest Network) 论文解读
之前的文章讲解了DIEN模型:CTR深度学习模型之 DIEN(Deep Interest Evolution Network) 的理解与示例,而这篇文章要讲的是DSIN模型,它与DIEN一样都从用户历 ...
异常检测中的浅层模型与深度学习模型综述（A Unifying Review of Deep and Shallow Anomaly Detection）
A Unifying Review of Deep and Shallow Anomaly Detection 异常检测中的浅层模型与深度学习模型综述摘要:随着众多异常检测方法(基于生成模型,单分类 ...
深度学习模型压缩与优化加速（Model Compression and Acceleration Overview）
1. 简介深度学习(Deep Learning)因其计算复杂度或参数冗余,在一些场景和设备上限制了相应的模型部署,需要借助模型压缩.系统优化加速.异构计算等方法突破瓶颈,即分别在算法模型.计算图或算 ...
【视频理解论文】——TSM：Temporal Shift Module for Efficient Video Understanding
TSM: Temporal Shift Module for Efficient Video Understanding(ICCV2019) 这是一篇关于视频理解的文章,主要介绍了一种可以达到3DCN ...
【论文笔记】Exploring Temporal Coherence for More General Video Face Forgery Detection
* Exploring Temporal Coherence for More General Video Face Forgery Detection 题目:探索更一般的视频人脸伪造检测的时间相干性 ...

VidLoc：A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization用于6-DoF视频片段重新定位的深度时空模型

摘要

贡献

模型