论文阅读笔记《Siamese Convolutional Neural Network for Camera Pose Estimation and Visual Servoing》

2024-05-07 20:17:07

小样本学习&元学习经典论文整理||持续更新

核心思想

该文使用基于孪生网络结构的CNN来实现相机的位姿估计和视觉伺服，过程也比较好理解，输入是当前位置的图像和期望位置的图像，输出的是两个图像之间的变换矩阵（包含平移矩阵和由四元数表示的旋转矩阵）。网络的结构如下图所示

孪生网络的两个分支分别对应当前位置图像IAI_AIA和期望位置的图像IBI_BIB，分别提取图像中的特征信息，然后将通道压缩至96，并且展成一维特征向量，再进行拼接。最后经过7个全连接层，输出7个预测结果（平移参数x,y,z和旋转四元数a,b,c,d）。损失函数如下

tit_iti表示平移参数，qiq_iqi表示旋转参数，RMSRMSRMS表示均方根误差。该文预测的结果其实是两幅图像之间的变换矩阵TΔT_{\Delta }TΔ，而不是像传统视觉伺服那样输出对于速度的控制律，因此这里还是需要用其他的控制方法来实现期望的位姿变换。但相对于传统的视觉伺服方法，该文提出的方法能够在初始位置偏差比较大的情况下（如下图第三行，目标只有30%部分在视野中），还能够通过逐步迭代不断接近期望位置，这是传统视觉伺服中很难解决的问题（目标特征点不再视野中无法计算图像雅可比矩阵）

算法评价

总体而言该文提出的方法更接近于相机的位姿估计问题，而不是视觉伺服，但本文提出的方法是可以应用于视觉伺服的任务的。另外本文发现使用孪生网络结构分别提取当前位置图象和期望位置图像的特征，再通过级联方式拼接起来，会比直接把两幅输入图像拼接起来进行特征提取效果要更好，这一点是与《Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous》这篇文章中的实验相吻合的。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。

论文阅读笔记《Siamese Convolutional Neural Network for Camera Pose Estimation and Visual Servoing》相关推荐

《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记主要挑战贡献: KG上的推理挑战主要 ...
论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录标题翻译:基于Beta分布引导方面感知图的方面类别情感分析原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
[论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构解 ...
论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机很多机器 ...
论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询路径查询连接查询 Query2box 示例:生物医学图知识图谱上的预测查询我们是否可以进行多跳推理,即在 ...

最新文章

热门文章