SuperPoint论文笔记

《SuperPoint: Self-Supervised Interest Point Detection and Description》
论文 https://arxiv.org/pdf/1712.07629.pdf
github https://github.com/magicleap/SuperPointPretrainedNetwork

1、SuperPoint网络结构
参考知乎语义SLAM | 深度学习用于特征提取 : SuperPoint（三）

①编码网络
②特征点检测网络：对图片的每个像素都计算一个概率，这个概率表示的就是其为特征点的可能性大小。
③描述子检测网络：先学习半稠密的描述子（不使用稠密的方式是为了减少计算量和内存），然后进行双三次插值算法（bicubic interpolation）得到完整描述子，最后再使用L2标准化（L2-normalizes）得到单位长度的描述。
④损失函数：

特征点检测是用了交叉熵loss

描述子

2、用预训练网络base detector做兴趣点自标注——MagicPoint（之前的工作）

用合成的数据集（主要包括一些典型几何物体）生成一些来检测角点的ground
truth，这里其实指的是候选的特征点，最终的特征点要通过后面HA这一步修正。
这里涉及到了用位姿计算损失函数

优势：比FAST、Harris等对噪声更鲁棒
劣势：对真实图像？对有强corner-like的结构还行，但是好多时候比不上传统方法——>用HA进行cross domain adaptation
(这个是否可以用到我的生成图像方法中？）

3、Homographic Adaptation 核心
个人感觉类似于pytorch里的transform，对原图像进行各种几何变换，比如平移、放缩、旋转、distort等等，获得已知位姿关系的图片对。

有什么用？提高原来的MagicPoint网络对真实图片的真值生成能力。效果还是挺显著的

4、实验设置和实验结果
（1）硬件+网络超参数
（2）评价指标
① Runtime：Titan X GPU上处理480*640的图片 70FPS
② HPatches Repeatability：每张图片提取300个point，HA后的superpoint提取特征点最稳定
③ HPatches Homography Estimation：（4个指标）重复性、mean localization error (MLE)、nearest neighbor mAP (NN mAP)、matching score (M. Score)

SuperPoint论文笔记相关推荐

ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
[论文笔记] Fast Quality Driven Selection of Composite Web Services (ECOWS, 2006)
Time: 4.0 hours Jae-Ho Jang, Dong-Hoon Shin, Kyong-Ho Lee, "Fast Quality Driven Selection of Co ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记《Maxout Networks》《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...

SuperPoint论文笔记

SuperPoint论文笔记相关推荐

最新文章

热门文章