Based on Attention and GNN
- Attention basics
- GNN basics
- 分配问题和介绍
- sinkhorn

总结

match匹配两组local特征点寻找匹配＆拒绝不可匹配点
求解可微optimal transport问题来解分配问题
用图网络来预测optimal transport 的cost

Formulation

关键点和描述子组成一个local feature (p,d)
feature集合定义一张image
预测两张图的匹配矩阵

网络结构

attentional GNN
optimal matching layer

Attentional GNN

把特征点位置和描述编码成一个问量，通过attention层创建更有表示能力的描述子

关键点编码

位置embed到高维，类似NLP中的位置编码
把描述子和位置编码直接加在一起的特征点信息编码x=d+MLP§，而不是向量连接

Multiplex GNN

两类edge，一个image内的和两个image之间的
用message passing formulation来在这两类edge上传递信息
图网络的输入层node有高维的feature状态（上文说的特征点信息编码x）
图网络的每一层，都会聚合所有edge来的信息，更新每个node的representation
聚合方式为 x=x+MLP(x || m)

Attentional聚合

信息m = $\sum$ ( $\alpha v$ )，其中a是key-query相似度的softmax(q k)
Key, query. Value都是图神经网络中deep feature的线性投影
q = Wx+b
[k v] = [W1 W2] x + [b1 b2]

注意到W和b对所有keypoints都是一样的。但会考虑multi-head attention

注意一开始x中就编码了key point位置和描述子（appearance ）所以信息的传递索引也都考虑了两者

最终的matching descriptor是最后一层feature的线性投影
f = W x + b

Optimal matching layer

创建一个score矩阵并用dustbin扩增，用sinkhorn算法选代找到最优的partial assignment

Score Prediction

定pairwise score为matching descriptor的相似性
S = <f, f>. 注意S是一个矩阵
注意到，原始的描述子是normalize过的，而matching descriptor没有normalize

Occlusion and Visibility

通过扩增Dustin的方式允许不近配的点

Sinkhorn算法

上述优化问题的解是optimal transport between离散分布a和b with score S

要看下匹配问题

Loss

设计上，GNN和optimal matching layer都是可微的，可以从 match backpropagate回visual descriptor
通过有监督的方式，有直值匹配和不匹配点
最小化assignment p 的negative log-likelihood
Loss = - $\sum$ log P匹配 - $\sum$ log P不匹配

要看下loss设计思路

Comparison to related work

Todo.实验

2021-06-30 SuperGlue相关推荐

2021.06.02税收和补贴问题
2021.06.02税收和补贴问题 (题目来源:洛谷-P1023) 题目描述每样商品的价格越低,其销量就会相应增大.现已知某种商品的成本及其在若干价位上的销量(产品不会低于成本销售),并假设相邻价位 ...
百万年薪背后是人工智能领域泛起的人才泡沫 2017年07月04日 06:30 PingWest 微博微信空间分享添加喜爱 //d1.sina.com.cn/201706/26/14587
百万年薪背后是人工智能领域泛起的人才泡沫 2017年07月04日 06:30 PingWest 微博微信空间分享添加喜爱 (原标题:百万年薪背后是人工智能领域不断泛起的人才泡沫) 应采访者要求,戴 ...
2021数学基础30讲扫描版网盘（里面直接是文档，免费）
2021数学基础30讲扫描版网盘(里面直接是文档,无需付费) 考研数学基础(数一二三通用) https://pan.baidu.com/s/1tq_GzdapBpiPxjtu7entEw 提取码:s ...
2021/10/30的1+X大数据Java答案
2021/10/30 步骤二 public Member() { }public Member(String name,String pwd,float score,int rank) {this.n ...
2021.06.03邮票面值设计
2021.06.03邮票面值设计题目描述给定一个信封,最多只允许粘贴 N 张邮票,计算在给定 K(N+K≤15)种邮票的情况下(假定所有的邮票数量都足够),如何设计邮票的面值,能得到最大值 MAX ...
何杰月c语言课程,11-12(一)东区课表(新)【.06.30】.doc
11-12(一)东区课表(新)[.06.30] 宁波工程学院2011-2012学年第一学期课程总表(东校区)-经管学院星期节次会计08-1,2会计08-3,4国贸08-1,2国贸08-3,4营销0 ...
2021.1.30课程摘要（逻辑教育-王劲胜）
2021.1.30课程摘要逻辑教育-13期-Python基础班-王劲胜一.集合二.函数(上) 三.作业讲解逻辑教育-13期-Python基础班-王劲胜一.集合 1.集合简介 • 集合表现形式 ...
2021.03.30【2021省赛】模拟比赛总结
2021.03.30[2021省赛]模拟比赛总结地址: https://gmoj.net/senior/#contest/home/3350 T1: 神奇纸牌(uno) T2: 凌乱平衡树 (tr ...
Mculover666的博客文章导航（嵌入式宝藏站）（2021.06.17更新）
一.MCU系列 1. 开发环境 [Keil MDK](一)Keil MDK 5.28 的下载.安装.破解 [Keil MDK](二)Keil MDK中芯片器件包的安装 [Keil MDK](三)Kei ...
2021.06.06家庭财经系统制作(2)
show tables; 查看数据库里有什么表命令. 碰到mysql软件问题.比想象的难缠. 用之前的方式打不开黑框(鼠标单击 mysql5.7 ccommand line Client),黑框一闪而 ...

2021-06-30 SuperGlue

总结