【论文阅读】Local residual similarity for image re-ranking

Local residual similarity for image re-ranking

（用于图像重新排序的局部残差相似度）

Shaoyan Suna, Ying Lib, Wengang Zhoua, Qi Tianc, Houqiang Lia,∗

aEEIS Department, USTC, Hefei 230027, PR China

bICE School, DUT, Dalian 116023, PR China

cOne UTSA Circle, San Antonio, TX 78249, U.S.

摘要

相似度测量是图像检索系统中必不可少的组成部分。虽然先前的工作集中在通用距离估计上，但是本文研究了在原始特征空间中定义的局部邻域内的相似性估计问题。具体而言，我们的方法具有两个方面的特点，即“局部”和“残余”。首先，我们关注查询中排名最高的相关图像的子集，通过诸如平均或聚类之类的方法发现锚点。然后从邻域特征中减去锚，从而得到残差表示。提出的局部残差相似度（LRS）使局部邻域内的特征距离均匀化。通过计算查询和排名靠前的图像之间的LRS，可以实现有效且高效的图像重新排序。该方法限制了在原始和局部残差特征空间中应看起来相似的相关图像。我们在具有全局CNN表示的两个图像检索基准上评估了所提出的方法，证明了在性能上的持续改进以及非常有限的额外计算成本。

1. 介绍

在本文中，我们专注于图像检索的任务[1-6]。给定一个查询图像，我们旨在从图像数据库中找到与之相似的副本。典型地，对于每个图像，提取特征向量，利用该特征向量来测量查询图像与数据库图像之间的相似性。然后，可以将与查询具有高相似分数的数据库图像作为检索结果返回。

图像检索社区已经见证了许多有效的图像表示。例如，视觉单词袋表示[1,2,7]遵循文本检索的惯例，将视觉单词词的频率分组为直方图。这个模型在图像检索框架中占据了主导地位，已有十年之久。为了将局部视觉特征聚合成一个紧凑的表示形式，VLAD[8]被提出来训练小的视觉码本，并总结相对于码字的局部特征的残差向量。最近，卷积神经网络（CNN）成功地应用于图像检索以进行特征提取，并产生了卓越的准确性[9-11]。

由于有效的特征表示对于提高图像检索性能至关重要，因此我们将通过利用残差向量（针对邻域中的某些局部锚点）来研究现有特征表示的更有效利用。残差表示法已在机械领域得到广泛应用。如上所述，Jégou et al. [8]提出VLAD聚合局部特征的残差向量。Arandjelovic et al.[12]，Liu et al. [13]等，着手进一步改进这种表示。提出了乘积量化[14]来对量化的残差向量进行编码，而残差网络[15]利用残差学习来克服更深层的神经网络训练问题，并获得最新的分类精度。Bai et al. [16]提出了用于特征编码和近似最近邻搜索的分层残差框架。Bai et al. [17]通过将残差编码算法VLAD引入两层编码框架来解决3D形状匹配问题。

受残差表示法潜在好处的启发，我们提出了一种用于图像检索重新排名的新颖距离度量。我们首先使用原始特征向量进行初始查询，以识别查询图像的邻域，然后将该邻域中的图像表示为相对于本地锚点的残差向量，以进行额外的重新排序过程。尽管残差向量相对于原始特征向量具有等效的欧几里德距离，但我们使用余弦距离来测量残差向量的夹

角值。我们通过利用局部特征分布信息，演示了使用此策略设计更有效的距离度量的可行性。

我们的工作在三个方面做出了贡献：

（1）在由其排名最高的图像定义的查询附近，我们提出了一种新的相似性度量，即局部残差相似性（LRS）。由此，引入了一种有效的在线重新排序方法。

（2）我们对选择一个邻域并计算局部锚点的各种策略进行了广泛的评估。

（3）我们制定了两种策略，通过在我们的方法上强加相互邻域约束来有效地提高重新排序性能。

2. 最近的工作

近年来，基于CNN的图像检索已实现了可观的过程。在[10]中，Babenko et al. 提出从CNN激活中提取特征作为神经代码，并证明其在图像检索任务中的实用性。Gong et al. [11]从图像中的多个比例和位置提取CNN特征，并通过池化将特征聚合。在[18]中，作者评估了多种聚合策略以改善CNN表示。除了利用现成CNN功能的这些方法外，有些工作还针对某些特定的图像检索任务，例如：landmark识别[19-21]。

通过精心设计的特征表示，重新排序成为改善图像检索结果的有效工具。为了完善排序列表中的结果，提出了几种有监督的重新排序方法，以从手动标记的数据中学习概念[22-27]。Wang et al. [23]学习不同的语义空间（即概念）并通过将相关的视觉特征投影到同一语义空间中来生成语义签名。其他一些工作则采用多种属性作为优化的约束[24]，并在[25,28]中使用了来自用户交互的反馈。为了避免由于各种原因（例如，未确定的用户意图）而引入的嘈杂标签，Jain et al. [29]有选择性地将点击数据的统计信息作为参考，以方便重新排名。

作为无需监督的自动相关性反馈的一种形式，查询扩展[30]可有效提高召回率，召回率则由[31]从文档领域转移到视觉领域。几何一致性限制在[31]中被应用以过滤掉候选列表中不相关图像，其余的用于构造新的查询。Chum et al. [32]改进了每个检索图像的上下文扩展，[5,33]通过SVM学习加权因子。其他一些工作则应用了基于图扩散的重排方法[34-38]。Zhang et al. [35]利用互惠邻域关系建立一个用于等级列表融合的图。Pedronette et al. [36]用等级信息构造一个相关图，并应用无监督的多样化学习来提高图像检索性能。此外，出于效率考虑，提出了一些基于二进制签名的方法[39,40]。

由于在实际的图像检索系统中几乎无法获得监督信息，因此邻域相互之间关系被广泛应用于无监督的ground truth验证。Jégou et al. [4,41]基于特征到其邻域的平均距离，提出了上下文不相似性度量（CDM），以通过迭代最大化邻域对称性。Bai et al. [42]在测量视觉单词向量之间的差异时考虑了给定视觉单词向量的邻域。Qin et al. [43]并没有追求最近的邻居之间的对称关系，分别为高度相关的邻居和其余远点设计了单独的相似性度量。我们的方法利用相互邻域关系进行距离度量设计，并通过集成一些相关约束进行扩展。与CDM显式地分配一个分数代表每个特征周围密度的方法不同，我们的方法实现了一种查询自适应在线距离度量，该度量不需要额外的存储并且运行速度非常快。此外，我们证明了通过将策略扩展到CDM等策略，我们可以进一步提高性能。

3. 重排序的局部残差表示

我们将在本节中详细介绍我们的方法。首先，在第3.1节中介绍基于局部残差表示的重排序算法的框架。然后，在第3.2节中讨论我们的方法中的邻域和锚点的定义。最后，我们在第3.3节中强加了相互的邻居限制。

3.1. 方法概述

在我们的方法中，我们使用CNN提取全局特征作为原始图像表示，这在图像检索中表现出了卓越的性能。具体来说，我们将给定图像输入已经在分类任务（在[9]中得出的直接表示方案）中进行了预训练的CNN模型中，并将中间层响应作为整个图像的特征。更准确地说，我们使用了由caffe [44]提供的预训练CaffeNet模型，该模型已广泛用于最新方法中。从两个中间层提取特征，即在每个通道上平均池化的256维Pool5层特征[45]（不调整输入图像的宽高比）和4096维Fc7层特征。特征在维度方向扎根，然后进行L2标准化。

将图像检索数据库表示为D={d1,d2, ... ,dN}，其中di是数据库第i个图像的特征表示向量，而N是数据集大小。给定查询图像q，相对于数据库图像di的相似性，计算为S(q,di)=q·di。由于所有图像特征均经过L2标准化处理，即||q||2=||di||2=1，因此相似度S(q,di)等于这两个高维向量之间的夹角的余弦值。

在查询阶段，我们首先使用原始图像特征执行初始检索过程，然后将一些排名最高的数据库图像标识为查询N(q)的邻域。之后，我们计算邻域内具有图像特征的一个或一些锚点，记为K(q)= {kqi}，i=1, ... ,M，其中M是锚点数。然后将N(q)中的领域图像和查询q重新格式化为相对于锚点的残差向量，使用余弦距离的残差向量重新计算锚点及其相似度。最后，基于新计算的相似度再对邻域图像进行重新排序。

我们用图1中的简单例子来说明这种局部残差表示。在图的左侧，高维空间中的原始特征向量从原点0开始，并在半径为1的标准化超球面上结束。在右侧部分中，特征表示为从一个邻域锚定点开始并在同一超球面结束的向量。在所示的情况下，查询和最近的橙色点λ1之间的距离（夹角）被放大为λ1'，而在λ2和λ2'之间仅观察到细微的变化，表示查询和最远的蓝点之间的距离（夹角）。简单示例显示，使用局部残差表示，特征向量可以具有不同的距离度量。在下一部分中，我们将讨论如何设计合适的邻域和锚点，从而为重新排名提供良好的距离度量。

图1.局部残差相似度（LRS）的一个简单示例。黑色曲线表示L2标准化特征所在的超球面。蓝点表示查询，橙色点表示位于群集区域中的数据库图像，绿色点表示分散的数据库图像。所有点都位于查询的局部邻域内。在左图中，原始特征向量用于计算余弦距离作为相似度，而在右图中，相对于邻域锚点的残差向量用于计算余弦距离。我们可以看到，应用LRS后，查询和数据库特征之间的余弦距离变得更加均匀。换句话说，改善了这些特征的邻域关系的可逆性。（有关此图例中颜色参考的解释，请参考本文的网络版本。）

3.2. 领域和锚点

有两个因子在局部残差表示中非常重要。一个是查询的邻域，定义为计算锚点和重新排序有多少数据库图像会涉及到。另一个是锚点，通过它生成残差向量。为了减少变量数，我们使用相同的邻域进行锚点计算和重新排序。因此，在表示查询周围的局部特征分布时，应该能够保证较高的recall。锚点对于有效地重新排名至关重要。期望它们采取独特的距离测量方法，以增强相关图像之间的匹配度，并消除不相关图像的影响。接下来，我们介绍选择邻域和计算锚点的方法。

3.2.1. 领域的定义

最近邻搜索领域中有两种流行的邻域定义，即k邻域和∈邻域。在高维特征空间中，k邻域被定义为最接近查询的前k个特征，而∈邻域涉及距离不大于来源于查询的∈的所有特征。由于我们在本文中使用余弦距离，因此我们将∈定义为邻域的最小相似度。

显然，k邻域包含固定数量的特征，而与局部特征分布无关，而∈邻域涉及到查询周围的固定大小范围，无论包含多少个特征，并且可以预期根据查询周围的特征密度自适应地选择邻域大小。我们将在实验中评估和比较两个邻域定义。

3.2.2. 锚点计算

锚点主要旨在充分利用残差向量中包含的潜在信息。由于我们没有可利用的监督信息，因此实现这一目标并非易事。然而，受[4]中提出的上下文不相似性度量（CDM）成功的启发，我们的目标是提高邻域的可逆性，即图像特征同时出现在彼此的邻域中。

如图1所示，由于橙色点聚集的影响，在原始特征空间中查询点和最远的绿点的可逆性都无法很好地满足。但是，如果我们将锚点指向聚集的点，则查询到它们的距离将会扩大（例如λ1→λ1'），从而提高了邻域的可逆性。此外，我们可以看到橙色和绿色的点往往属于不同的类别。但是无法在原始特征空间的查询视图中区分它们。这是在将原点从坐标0更新为选定的锚点之后解决的，该强调真正的相关图像在原始特征空间（在初始检索阶段）和局部残差特征空间（在重排阶段）中都应具有更高的相似性评分。同时，当对来自同一类别的图像进行紧密排序，重排会导致更新的特征空间会更有序。

直观地讲，直接将锚点设置为包括查询在内的邻域中所有特征的均值向量，与余弦距离相比，该锚点将更靠近聚集点并使特征分布更均匀。也可以将锚点设置为这些特征向量的中值。建议减轻查询周围异化特征点的影响。我们将这两种锚定点计算方法分别表示为Mean-AP和Median-AP。考虑到更多细粒度的残差信息，我们可以进一步使用多个锚点。在这种情况下，邻域中的每个特征向量都表示为串联残差向量，相对于所有锚点而言。具体来说，假设我们有锚点K(q)={kiq}，i=1, ... ,M，查询或数据库图像特征x的残差向量通过以下式子获得：

其中的⊕符号代表向量的串联。我们对串联向量中的每个分段执行L2标准化，以便可以使用内积操作S(q,d)=q·d直接计算两个特征向量q和d的相似度，等同于所有分割的余弦距离总和。显然，使用的锚点越多，残差表示将具有的维数越高。

我们使用k均值算法来计算M个聚类中心作为M个锚点，代表细粒度的局部特征分布。这种多锚定点计算方法表示为kMean-AP。注意，当M＝1时，该表示降级为前述的Mean-AP方法。我们在图2中说明了kMean-AP方法。该表示在某种程度上类似于VLAD公式[8]，但不同之处在于我们的方法具有查询自适应聚类中心。它们反映了查询周围的局部特征分布。同样，我们保留图像特征的完整残差信息，而不是将多个特征平均化为一个残差向量。

算法1中概述了完整的检索过程。将残差特征计算抽象为函数GetResidualFeature，并分别在离线索引和在线查询阶段执行检索系统。

图2. kMean-AP的示意图。残差特征向量x'被公式化为三个L2标准化残差向量的串联，相对于使用k-mean算法生成的多锚点[kq1,kq2,kq3]而言。

3.3. 相互领域约束

如上所述，残差特征向量表示被隐式设计为改善邻域的可逆性。在本节中，我们讨论两种方法，以遵循广泛观察的属性，即相关图像通常显示为彼此的最接近邻居之一，来明确强加邻域相互的约束。第一种方法是CDM扩展，第二种方法是数据库扩充。

3.3.1. CDM扩展

上下文不相似性度量（CDM）[4]可有效地利用特征的局部分布进行距离计算。这种方法为数据库中的每个特征分配了一个邻域距离因子，代表了特征到其领域的的平均距离：

其中N(d,Kd)是特征d的Kd最近邻域。然后，我们用一个数据库图像d计算查询q的距离为：

这里D(·)表示欧几里得距离，计算公式为D(q,d)=2-2q·d。我们将此CDM加权应用于初始检索阶段和重新排序阶段的距离计算，其中分别使用原始特征向量和L2标准化残差向量计算邻域距离因子。我们在算法2中总结了具有CDM扩展的方法检索算法。在离线阶段，预先计算了原始特征的CDM邻域距离因子。

我们的方法从CDM的不同角度提高了邻域的可逆性，并且当它们一起工作时，有望获得更平衡的邻域和更有效的距离度量。

3.3.2. 数据库扩充

考虑到查询图像的邻域，直接使用本地残差表示进一步扩充所有数据库图像是很简单的。到目前为止，我们一直专注于计算查询附近的锚点。实际上，我们还可以在脱机阶段计算每个数据库图像周围的锚点，并将其用于查询和数据库图像的另一个残差表示。这将对图像匹配施加更强的约束，鉴于两个图像，它们应与局部残差表示匹配。

具体而言，假设我们围绕查询q计算一个锚点为kq，而围绕数据库图像d计算另一个锚点为kd（离线计算），则我们有相对于kq的残差表示为q'q=q-kq，d'q=d-kq，相对于kd的残差表示为q'd=q-kd，d'd=d-kd。利用这些残差表示，我们可以计算出q和d之间的相似度为：

该匹配分数表明，从两个特征各自的本地邻域分布的角度来看，要比较的两个特征应相似。我们使用总和而不是两个分数的乘积，因为它们可能显示为负值。算法3中总结了我们的数据库扩充方法的具体检索算法。

4.实验

我们在两个流行的基准数据集（即Holidays数据集[46]和UKBench数据集[1]）上评估了我们的方法（LRS）。平均平均精度（mAP）用于评估Holidays数据集的检索准确性，而NS分数（平均是top-4准确性的四倍）用于测量UKBench的检索准确性。接下来，我们首先检查第4.1节中的邻域定义和锚点计算的影响。然后，我们在第4.2节中证明了所提出的相互领域约束的有效性。最后，我们在4.3节中将我们的方法与其他相关工作进行了比较。请注意，所有评估都是使用第3.1节中介绍的两个CNN功能执行的。

4.1. 邻域和锚点的影响

通常，较大的邻域可确保较高的重新排序召回率，但可能会丢失一些有关查询周围局部分布的独特信息。我们首先针对k邻域和∈邻域测试不同k值下的图像检索性能。对于这些实验，我们通过Mean-AP在邻域中生成一个锚点。

我们在图3中显示了Holdiays和UKBench数据集上的实验结果。当k=1或∈=1.0时，第一次检索结果仅仅只是用来重新排序（即查询本身），这相当于没有局部残差重排的基准。我们可以看到Pool5层特征的基准在Holidays上mAP=80.1％，在UKBench上NS-Score= 3.65，对于Fc7层特征在Holidays上mAP = 71.0％，在UKBench上NS-Score = 3.44。

总体而言，k邻域的性能优于∈邻域，并且在不同的参数设置下，其波动往往较小。我们认为∈邻域易受查询周围特征分布的影响。例如，如果查询位于非常稀疏的邻域中，则非常少的特征将包含在锚点计算和重新排序中。

对于k邻域，我们观察到，当k足够大（不小于40）时，我们的方法性能在Holiday上的比基线高出大约3％，在UKBench上比基线高出大约8％。但是，当k进一步增加时，由于缺少局部分布信息，两个数据集的性能都会略有下降。另外，更大的邻域将为重新排名引入更多的计算成本。当k小于40时，由于没有提供足够的局部分布信息并且召回不能很好地实现重新排名，因此性能略好于或低于基线（k=1）。

然后，我们比较不同的锚点计算方法。对于仅使用一个锚定点的Median-AP和Mean-AP，我们使用k=40的k邻域。当使用kMean-AP时，为了确保每个聚类中有足够的样本特征用于锚定点计算，我们将参数k为40M，其中M为群集数量。

表1中总结了比较结果。我们看到，一般来说，具有3个聚类中心的KMean-AP方法可获得每个特征的最佳精度。但是，当簇数M为2或4时，具有最佳结果的差异并不明显。借助Fc7层功能，Mean-AP在Holidays上实现了最佳精度，并在其他实验中达到了最佳性能。在所有方法中，Mean-AP仅需一个平均值计算过程就具有最低的计算成本。Median-AP消耗相似的计算时间，但准确性相对较低。kMean-AP方法需要群集中心计算，并且具有较长的特征向量表示。但是，由于锚点计算和重新排序过程仅涉及不超过数百个特征，并且群集数量非常少，因此额外成本非常有限。

图3.用Mean-AP评估的两个邻域定义的影响。

表1.不同锚点计算方法的检索准确性(Holiday的mAP和UKBench的NS-Score)的比较。kMean-AP/M表示将kMean-AP方法中的群集数设置为M。

4.2. 邻域相互约束

3.3节中建议的扩展旨在通过邻域相互约束来提高特征匹配精度。我们在表2中比较了我们的局部残差表示（LRS）与CDM扩展（LRS + CDM）和数据库扩充（LRS + DA）。对于LRS，我们展示了最佳邻域和锚点计算实践的结果，如表2所示。第4.1节（即kMean-AP/3和k = 40×3=120的k邻域）。对于CDM扩展，我们在等式中设置邻域大小Kd = 10在等式（2）中。这两个扩展是通过均值AP执行的，其中仅使用一个锚点来提高效率。

根据该表，两个扩展在具有Pool5和Fc7图层特征的两个数据集上均获得了一致的性能提升。在Holidays数据集上，CDM扩展具有更好的精度，即Pool5层特征为85.5％，Fc7层特征为76.2％，分别比LRS高1.5％和比基线高5.5％。在UKBench数据集上时，数据库扩展扩展实现了最佳性能，即具有Pool5层功能的3.76和具有Fc7层功能的3.56，分别比LRS高0.04和比基线高0.2左右。

然后，我们针对表3中的不同设置，比较PC上重新排序过程中的时间成本。在确定重新排名所涉及的功能部件编号时，评估实际上与数据库大小无关。我们看到kMean-AP/3在重新排序上花费了更多时间，因为它考虑了大量特征并且残差特征向量具有更高的维数。Fc7层的尺寸为4096，因此比Pool5层功能需要更多的时间。CDM扩展需要在附近进行在线CDM权重计算，并耗费更多时间，而数据库扩充主要是在离线状态下进行的，并且每个特征对都需要再进行一次距离计算，这对重新排名时间影响不大。总体而言，我们的方法带来的额外时间成本微不足道，甚至可以支持大量图像的重新排序。至于内存成本，所有不扩展的LRS设置都不需要额外的内存。对于CDM扩展，我们为每个数据库图像特征仅存储一个权重（浮点数据）。为了进行数据库扩充，存储了一个额外的锚点向量，该向量的维数与原始特征相同。

表2.提议的方法LRS与基线（Holidays的mAP和UKBench的NS-Score），CDM扩展（LRS + CDM）和数据库扩充（LRS + DA）的准确性比较以及相关工作。我们最好的结果标为粗体，并在所有方法中标出了最好的结果。

表3.不同设置的时间成本和复杂性。k，N，D分别是重新排序的列表长度，数据库大小和特征维度。t是k均值的迭代数。

4.3. 对比

我们将我们的方法与表2中一些具有代表性的相关工作进行了比较，包括非迭代CDM [4]，具有平均查询扩展的Total Recall（TR）[31]，Hello Neighbor（HN）[43]和稀疏上下文激活（SCA）[42]。实验使用我们的方法所使用的相同的特征进行的，并且在测试了不同的参数设置后可以挑选出最佳结果。

在比较的作品中，CDM具有更一致的准确性改进，并且具有Fc7层功能，优于我们的LRS。但是，当应用CDM扩展时，我们的方法可获得更好的结果。这表明这两种方法是互补的。TR在两个特征中均没有可观察到的精度提高，这可能是因为没有适用于全局特征的几何验证方法。HN仅在KBench上的Pool5层功能有所改进，这可能是因为近距离设置的召回率已经很高，远距离设置的影响很小。由于SCA是基于上下文的重排序算法，因此它需要足够的可靠邻域来描述查询的上下文信息。因此，尽管它在UKBench上表现最佳，但在Holidays上却不行。

为了进一步将我们的方法与CDM进行比较并证明扩展的有效性，我们在表4中列出的3种改进类型的结果和基线之间进行了统计配对t检验。我们分别测试统计显着性水平α为0.01、0.05和0.1。可以看出，在Holidays数据集上的LRS和CDM的结果对于α= 0.1具有统计学意义，而对于α= 0.05则无意义。然而，扩展（LRS + CDM）对于α= 0.05可以产生显着的改善。在UKBench上，所有改进都会在α= 0.01时产生显着结果。为了进一步检查LRS和CDM的互补性质，我们计算了LRS和CDM产生的检索结果的Spearman相关系数。如表4所示，这两种方法的检索结果非常不相关。

因为我们的方法是在在线重排过程中执行的，所以即使将新图像插入数据库中也不需要进行额外的计算。这也是我们的方法相对于CDM的优势。对于CDM，当插入新图像时，需要更新原始记录的距离因子，因为数据库图像周围的邻域属性可以受到新来者的影响。CDM的一个妥协方案可能是仅在多次插入之后才执行更新。请注意，这也适用于带有CDM扩展和数据库扩展扩展的方法。

表4.我们的方法与CDM的进一步比较。LRS，CDM和CDM扩展（LRS + CDM）的最佳显着水平值α使用与基线成对的t检验在中间3列中列出。LRS和CDM产生的检索结果的Spearman相关系数列在最后一栏中。

4.4. 可视化和分析

为了直观地演示应用所提出的LRS重排序的效果，我们从图4的UKBench数据集中选择了几组检索结果。图4(a)–4(f)显示了六组成功的结果。图4(g)–4(j)中显示了4组失败案例。LRS使用Mean-AP重新排序而没有任何扩展，即可得出结果。

在图4(a)中，由于剧烈的90°旋转，初始查询未能检索到所有3个真实数据库图像。另一方面，我们的方法成功检索了它们，因为3个数据库图像彼此相似并且在局部残差特征空间中排序紧密。图4(b)是相反的情况。在原始特征空间中识别出的分散注意力的错误实例在查询中显示出相似的外观，但是ground truth的数据库图像具有很大的视图变换。这表明在局部残差特征空间中从查询中排除了错误实例。图4(c)和(d)是两种情况，其中ground truth与查询没有严重差异，但初始查询分别因分散的和聚集的干扰因素而失败。我们的方法可以同时处理两种类型的干扰因素。图4(e)和(f)给出了另外两个成功的例子。

至于图4(g)中的失败案例，我们看到原始特征召回了2个ground truth数据库图像，这些图像在查询中具有明显的视觉内容差异。但是，我们的重新排序过程会丢失它们，而是检索其他3个场景。这3张图片看起来彼此相同，并且与查询也非常相似。在图4(h)中，我们的方法错过了一个被柱子遮挡的南瓜玩具，并返回了另一幅图像，该图像显示了同一玩具实例的边缘但是背景不同。图4(i)和(j)显示了另外两种情况，其中我们的方法返回的错误实例在外观上与查询非常相似，并且彼此相似。这有助于我们观察到大多数失败情况。

图4. UKBench wo/w LRS重新排名的前4个检索结果。在每个组中，第一列表示检索到的排名最高的数据库图像和查询图像，并且在第一行和第二行中分别给出了使用和不使用重新排序的结果。(a)–(f)中的结果是重新排名提高准确性的情况，而(g)–(j)中的结果显示了一些失败情况。

5.结论

本文提出并研究了一种新颖的相似性度量，即局部残差相似性（LRS）。LRS具有两个方面的特点。它在排名靠前的图像子集定义的查询的局部邻域中工作。通过从原始特征向量中减去锚来生成残差，然后将其用于第二轮相似度计算。本文讨论了制定邻域和锚点计算的各种策略，并为LRS的扩展提供了对等的邻域约束。LRS的有效性在两个基准上得到了证明，并且限制了计算开销。

【论文阅读】Local residual similarity for image re-ranking相关推荐

论文阅读 Local Differential Privacy-Based Federated Learning for Internet of Things
标题:Local Differential Privacy-Based Federated Learning for Internet of Things 期刊: IEEE Internet of T ...
【论文阅读】Drug Similarity Integration Through Multi-view Graph Auto-Encoders | day4、5
2018年International Joint Conference on Artificial Intelligence国际人工智能联合会议文章目录前言一.基于注意力机制的多视图图自编码器的 ...
论文阅读笔记（4）：Local Convex Representation with Pruning for Manifold Clustering ，带剪枝的局部凸表达进行流形聚类
论文阅读笔记(4):带剪枝的局部凸表达进行流形聚类介绍文章主要贡献理论上:局部凸表达(Local Convex Representation, **LCR**) 剪枝方法:估计流形的内在维数以剪 ...
(CVPR 2022 阅读笔记)Residual Local Feature Network for Efficient Super-Resolution
论文地址:Residual Local Feature Network for Efficient Super-Resolution 摘要:目前高效SISR主要关注减少参数的数量,它们通过复杂的连接来 ...
《Enhanced Deep Residual Networks for Single Image Super-Resolution》论文阅读之EDSR
导读韩国首尔大学的研究团队提出用于图像超分辨率任务的新方法,分别是增强深度超分辨率网络 EDSR 和一种新的多尺度深度超分辨率 MDSR,在减小模型大小的同时实现了比当前其他方法更好的性能,分别赢得 ...
深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》
深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...
论文阅读+实战：SimGNN：A Neural Network Approach to Fast Graph Similarity Computation
Part 1: 论文阅读论文链接:SimGNN: A Neural Network Approachto Fast Graph Similarity Computation 1. 摘要图相似性搜索 ...
论文阅读 [TPAMI-2022] Densely Residual Laplacian Super-Resolution
论文阅读 [TPAMI-2022] Densely Residual Laplacian Super-Resolution 论文搜索(studyai.com) 搜索论文: Densely Residu ...
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
[论文阅读]Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 虽然这是一篇17年ICCV的论文,但是这篇 ...

【论文阅读】Local residual similarity for image re-ranking

【论文阅读】Local residual similarity for image re-ranking相关推荐

最新文章

热门文章