1. 摘要和贡献

在计算机视觉应用领域，如运动结构分析、多视图3D重建、图像检索和基于图像的地位，图像匹配都扮演了重要的角色。在这篇文章中，作者采用卷积神经网络表达相似图像对和不相似图像对的特征，然后采用欧拉距离测量特征矢量并估计相似度。其中，作者采用的是类似于孪生网络的结构提取特征向量。在此之前，孪生网络已经成功运用到了图像的局部匹配领域和人脸对比验证，但是还没有应用于图像的大规模匹配。作者通过大量实验验证，提出的图像匹配方法的性能远高于基线算法。这还是在作者标注的标签质量很差的情况下，如果数据量更大，竞金标准更好，作者可以获得更好的结果。

作者的贡献主要表现在两个方面：

1. 基于深度神经网络，利用整幅图像预测图像对的相似性。

2.作者验证了孪生网络在图像匹配中的潜力。

2. 结构、方法、细节

图 1. 模型结构。两个分支结构是一样的，权重分享。

作者的目标在于为图像对学习一个广义的相似度测度函数。作者采用了HybridCNN作为网络的核心组成部分。网络流程也很简单，一对图像分别通过神经网络分支，得到两幅图像在特征空间的特征向量。两个特征向量直接输送到损失函数层。注意的是，作者采用的损失函数依旧是[1,-1]是非类型。即，最小化匹配对的欧氏距离，最大化非匹配对的欧氏距离。

2.1 对比损失函数 constructive loss

为了优化作者提出的网路，作者设计了一个代价函数进行优化，该函数可以明显区分匹配对 / 非匹配对图像。更精确地，他鼓励相同的图像对特征空间的距离非常小，不相似的图像对至少具有m的距离。

l是图像对的标签 l+ = 1; l- = 0；m>0是非匹配对之间的间距；D=||f(I1)-f(I2)||是图像对在特征空间的欧氏距离。

只有非匹配对的欧氏距离小于m，非匹配对才会对损失函数起作用。损失函数鼓励匹配对在特征空间的距离非常的近，非匹配对在特征空间距离非常远。能够明显看出来，欧氏距离大于m的负样本对损失函数不起作用。

作者在文章很多讨论都是针对如何确定一个合适的margin value m。

2.2 网络细节

作者的网络架构收到了Ground-to-Aerial的启发。孪生网络包括两个相同的分支，它们之间共享权重和参数。每个分支都包括有卷积层、整流层作为非线性卷积层、以及全连接层。网络的动机就是为了学习到最优的特征表达映射。

3. 实验

图2. 作者研究了不同的特征提取网络对模型性能的影响

4.心得

做的中规中矩

5. 补充材料

HybridCNN.

B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva, “Learning deep features for scene recognition using places database,” NIPS, 2014.

loss function:

R. Hadsell, C. Sumit, and Y. LeCun, “Dimensionality reduction by learning an invariant mapping,” CVPR, 2006.

Ground-to-Aerial：

T.-Y. Lin, Y. Cui, S. Belongie, and J. Hays, “Learning deep representations for ground-to-aerial geolocalization,” in CVPR, 2015.

Siamese Network (应用篇1) ：孪生网络特征用于图像匹配 ICPR2016相关推荐

Siamese Network (应用篇5) ：孪生网络用于跟踪 CVPR2016
参看论文:Tao R, Gavves E, Smeulders A W, et al. Siamese Instance Search for Tracking[J]. computer vision ...
Siamese Network (应用篇3) ：孪生网络用于图像块匹配 ACCV2016
参看论文:Melekhov I, Kannala J, Rahtu E, et al. Image patch matching using convolutional descriptors wit ...
Siamese Network (应用篇2) ：孪生网络用于图像块匹配 CVPR2015
参考论文:Zagoruyko S, Komodakis N. Learning to compare image patches via convolutional neural networks[J ...
Siamese Network (应用篇6) ：孪生网络用于图像块匹配 CVPR2017
参考论文:L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space 会议水平:CVPR2017 供稿单位: ...
Siamese Network (应用篇4) ：块匹配中一致性特征和距离测度学习 CVPR2015
参考文章:Han X, Leung T, Jia Y, et al. MatchNet: Unifying feature and metric learning for patch-based ma ...
孪生网络（Siamese Network）实现手写数字聚类
Siamese Network通常用于小样本的学习,是meta learning的方法. Siamese Network,其使用CNN网络作为特征提取器,不同类别的样本,共用一个CNN网络,在CNN网 ...
小样本学习记录————相似性计算经典网络结构(孪生网络、匹配网络、原型网络、关系网络)
小样本学习记录----四种相似性计算经典网络结构小样本学习记录----四种相似性计算经典网络结构孪生网络(Siamese network) 匹配网络(Matching network) 原型网络( ...
孪生网络图像相似度_孪生网络：使用双头神经网络进行元学习
深度神经网络有一个大问题-他们一直渴望数据. 当数据太少时(无法到达算法可以接受的数量)深度神经网络很难推广. 这种现象突出了人类和机器认知之间的差距. 人们可以通过很少的训练示例来学习复杂的模式(尽 ...
基于孪生网络的跟踪算法汇总
目录 1 SINT--[论文链接](https://arxiv.org/pdf/1605.05863.pdf)--[项目链接](https://taotaoorange.github.io/proje ...

Siamese Network (应用篇1) ：孪生网络特征用于图像匹配 ICPR2016