Dual-Resolution Correspondence Networks 2020

核心思想：使用4D 卷积运算获取dense的匹配

pipeline：

解释：输入为两张image，输出为dense的特征匹配。算法共分为三部分，分别是：特征提取模块、4d卷积模块、coarse和fine融合模块

1> 特征提取模块。

输入两张image，然后使用经典的cnn提取多个分辨率的feature map层次，将高分辨率的feature map称为fine feature，将低分辨率的

feature map称为coarse feature，由于本文想要使用4d卷积元算，为了减少运算量和显存消耗，因此在coarse feature map上进行4d卷积

2>4d卷积

2.1将1中生成的两个coarse feature map计算，其中f表示在(I, j)位置的特征，通过上述计算可以得到

一个Ha * Wa * Hb * Wb的相关性矩阵，矩阵中每个位置的元素代表对应的位置的匹配相似性。

2.2 根据邻域一致性原则（正确匹配的邻域之间匹配相惯性更高）使用4d卷积核对其进行卷积元算（解释：2d卷积是将整个通道进行融合，3d卷积

就可以将在通道上进行分组融合，4d卷积就可以对其邻域进行融合处理）

2.3 在进行卷积运算的时候为了保证一致性（A中的点匹配到了B中，同样B中的这个点也应该匹配到A中的一样的点），4d卷积使用：

，其中

3>coarse 和 fine 融合模块

2中生成的score相关性矩阵是在coarse上进行的运算，为了提高精度，本文使用1中生成的高分辨率feature map进行融合处理。

首先对1中的fine feature map用相同的方法生成，然后对coarse下的

进行上采样，然后：，最终选取channel上的max即为正确的匹配。

loss：

增加一致性约束：

最终loss：

Dual-Resolution Correspondence Networks 2020相关推荐

【论文笔记】Resolution Adaptive Networks for Efficient Inference （CVPR2020）
Resolution Adaptive Networks for Efficient Inference Motivation Method Experiments 借鉴意义与思考论文地址:http ...
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social...》论文学习笔记
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recom ...
ECCV 2020开源项目合集（ECCV 2020 paper list with code/data）
文章转载自https://www.paperdigest.org/2020/08/eccv-2020-papers-with-code-data/,如有侵权,留言后删除. 以下表格列出了ECCV 20 ...
A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
A Comprehensive Survey on Graph Neural Networks 图神经网络综合研究 Zonghan Wu, Shirui Pan, Member, IEEE, Feng ...
【AAAI 2020】全部接受论文列表（四）
来源:AINLPer微信公众号(点击了解一下吧) 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22 最近武汉肺炎形势严峻,请小伙伴们带好口罩,做好防护,大家新年快乐~ ...
CVPR 2020 Workshop on Continual learning in Computer Vision 征稿
点击我爱计算机视觉标星,更快获取CVML新技术为了进一步推广Lifelong Robotic Vision项目,吸引更多的学术工业界的研究开发人员,英特尔中国研究院作为主办方之一在IEEE Con ...
2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social effect
[论文阅读笔记]2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social ...
2020最后一天 || 时间相关单光子计数技术的原理和优点
相关博客: 2020最后一天 || 时间相关单光子计数技术的原理和优点 2020最后一天 || 常用光子计数检测器分类与原理 2020最后一天 || 时间相关单光子计数器(TCSPC)的定时分辨率(T ...
全面回顾2020年图机器学习进展，12位大神论道、寄望2021年大爆发
2021-01-10 18:22:01 作者 |Michael Bronstein 编译 | Mr.Bear 编辑 | 陈大鑫图机器学习在 2020 年大放异彩,各种新理论和新应用精彩纷呈. 就在近 ...

Dual-Resolution Correspondence Networks 2020

Dual-Resolution Correspondence Networks 2020相关推荐

最新文章

热门文章