Re-ranking Person Re-identification with k-reciprocal Encoding

本文是关于重排序论文中创新方法的翻译，主要是解决初始排序列表中不正确匹配对问题：对于probe,其正匹配对Pi的匹配对有包含该probe，而负匹配对Ni的匹配对中没有probe。

Introduction

人员重新识别（re-ID）是计算机视觉中的一项艰巨任务。通常，re-ID可以视为检索问题。给定一个侦探人员（probe person），我们想在跨相机模式下在图库(gallery)中搜索包含同一人员的图像。获得初始排名列表后，一种好的做法是添加一个重新排名(re-ranking)步骤，以期望相关图像将获得更高的排名。
下面便是基于k-reciprocal 编码的重排序方法。

如上图，在上半部分示例中，根据初始排名，找到rank-10的对应图像。作者观察到探针是真实匹配图像的相应邻居，而不是错误匹配图像的相应邻居。（比如可以看到正匹配对P1中的匹配项中包括Probe，负匹配对N1的匹配对中不包括Probe）该观察结果可识别初始排名列表中的真实匹配项，以改善重新排名结果。

Proposed Approach

1.Problem Definition

给定一个探测人ppp和有NNN张图片的图库，其中G={gi∣i=1,2,3,…N}\mathcal{G}= \{{g_{i}|i=1,2,3,…N}\}G={gi∣i=1,2,3,…N}，两个人p和gip和g_{i}p和gi通过计算马氏距离（Mahalanobis distance）来获得初始距离:

d(p,gi)=(xp−xgi)TM(xp−xgi)d(p,g_{i})=(x_{p}-x_{g_{i}})^TM(x_{p}-x_{g_{i}})d(p,gi)=(xp−xgi)TM(xp−xgi)

其中xpx_{p}xp和xgix_{g_{i}}xgi分别表示探针ppp和图库gig_{i}gi的外观特征，M是一个正半定矩阵（positive semidefinite matrix）。
初始排序表L(p,G)={g10,g20,…gN0}\mathcal{L}(\mathcal{p,G})=\{ g_{1}^0,g_{2}^0,…g_{N}^0\}L(p,G)={g10,g20,…gN0} 通过计算p和图库gip和图库g_{i}p和图库gi中图像对的初始距离来获得。其中d(p,gi0)<d(p,gi+10)d(p,g_{i}^0)<d(p,g_{i+1}^0)d(p,gi0)<d(p,gi+10)。
接下来就是对序列表L(p,G)\mathcal{L}(\mathcal{p,G})L(p,G)进行重排序来提高人员重识别的性能。

2. K-reciprocal Nearest Neighbors

定义N(p,k)N(p,k)N(p,k)作为探测人的kkk最近邻居（即序列表中前k个样本）：
N(p,k)={g10,g20,…,gk0},∣(N(p,k)∣=kN(p,k)=\{g_{1}^0,g_{2}^0,…,g_{k}^0\},|(N(p,k)|=kN(p,k)={g10,g20,…,gk0},∣(N(p,k)∣=k

其中，|·|表示图片集中的候选数目。K-reciprocal最近邻居R(p,k)\mathcal{R(p,k)}R(p,k)可以定义为

根据之前描述，k相互近邻比k近邻更与探测p有关，但是，由于照明，姿势，视图和遮挡的变化，正图像可能会从k个最近邻居中排除，并且随后不包括在k个相互最近的邻居中。为了解决这个问题，根据以下条件，将R（p，k）\mathcal{R（p，k）}R（p，k）中每个候选对象的1/2k1/2 k1/2k相互最近邻逐渐添加到更健壮的集合R∗(p,k)\mathcal{R^ ∗(p,k)}R∗(p,k)中
通过这一操作，我们可以在R∗(p，k)\mathcal{R^∗(p，k)}R∗(p，k)中添加更多的正样本，这些样本与R(p，k){R(p，k)}R(p，k)中的候选样本比探针ppp更相似。在图3（下图）中，我们显示了扩展过程的一个示例。最初，硬正样本G在R（Q，20）\mathcal{R（Q，20）}R（Q，20）中被漏掉了。有趣的是，R（C，10）\mathcal{R（C，10）}R（C，10）中包含G，这对于带回正G是有益的信息。然后，我们可以应用等式 4将G加到R∗（Q，20）\mathcal{R^ ∗（Q，20）}R∗（Q，20）中。因此，在扩展过程之后，可以将更多的正样本添加到R∗（p，k）\mathcal{R ^∗（p，k）}R∗（p，k）中。

3. Jaccard Distance

如果两个图像相似，则它们的k倒数最近邻集会重叠，即，这些集中存在一些重复的样本,并且重复样本越多，两个图像越相似。 p和gip和g_{i}p和gi之间的新距离可以通过其k倒数集的Jaccard度量( the Jaccard metric of their k-reciprocal sets)来计算：

其中∣.∣|.|∣.∣表示集合中候选者的数量。我们采用Jaccard距离来命名这个新距离。尽管上述方法可以捕获两个图像之间的相似关系，但是仍然存在三个明显的缺点：

在许多情况下，获取两个邻居集R∗(p,k)\mathcal{R^*(p,k)}R∗(p,k)和R∗(gi,k)\mathcal{R^∗(g_{i},k)}R∗(gi,k)的交集和并集非常耗时，并且在需要计算Jaccard距离时变得更具挑战性对于所有图像对。另一种方法是将邻居集编码为一个更简单但等效的向量，从而在保持邻居集中原始结构的同时，大大降低了计算复杂度。
距离计算方法对所有邻居均等地加权，从而得出简单但没有区别的邻居集。实际上，更接近探针p的邻居更有可能是真实正匹配。因此，基于原始距离重新计算权重并将较大的权重分配给较近的样本是有说服力且合理的。
在尝试衡量两个人之间的相似性时，仅考虑上下文信息将构成相当大的障碍，因为不可避免的变化会导致难以区分足够的上下文信息。因此，合并原始距离和Jaccard距离对于鲁棒距离至关重要。

于是，提出了k-互易特征来解决前两个缺点，通过将k-互易最近邻集编码为向量Vp=[Vp,g1，Vp,g2，...，Vp,gN]\mathcal{V_{p}=[V_{p,g1}，V_{p,g2}，...，V_{p,gN}]}Vp=[Vp,g1，Vp,g2，...，Vp,gN]，其中Vp,giV_{{p,g_{i}}}Vp,gi是由初始的二进制指示函数定义为

这样，k-互易邻集就可以表示为一个N维向量，向量的每一项都表示相应的图像是否包含在R∗(p，k)\mathcal{R^∗(p，k)}R∗(p，k)中。不过，这个函数仍然认为每个邻居是相等的。从直觉上看，靠近探针p的邻居应该与探针p更相似。因此，我们根据探针与其邻居之间的原始距离重新分配权重，我们通过成对距离的高斯核重新定义等式6为：
这样，硬权重（0或1）将转换为软权重，较近的邻居分配较大的权重，而较远的邻居分配较小的权重。基于以上定义，交集和并集的候选数可以计算为

其中min和max对两个输入向量进行基于元素的最小化和最大化。 ∣∣.∣∣1||.||_{1}∣∣.∣∣1是L1范数。因此，我们可以重写等式5中的Jaccard距离为：
通过公式从式5到式10的转换，我们已经成功地将集合比较问题转换为纯向量计算，这实际上要容易得多。

3.4. Local Query Expansion

为了模拟来自同一类的图像可能共享相似特征的想法，我们使用探针p的k个近邻来实现本地查询扩展。本地查询扩展定义为

结果，探针p的k个最近邻居扩展了k-相互特征VpVpVp。注意，我们在探针p和gip和g_{i}p和gi上都实现了该查询扩展。由于在k个最近的邻居中会有噪声，因此我们将在本地查询扩展中使用的N（p，k）N（p，k）N（p，k）的大小限制为较小的值。为了区分等式7和等式11中使用的R∗（gi，k）和N（p，k）R^ ∗（g_{i}，k）和N（p，k）R∗（gi，k）和N（p，k）的大小。我们分别将前者表示为k1，将后者表示为k2，其中k1>k2k1，将后者表示为k2，其中k1> k2k1，将后者表示为k2，其中k1>k2。

3.5final distance

在本小节中，我们重点关注等式5的第三个缺点。虽然大多数现有的重新排名方法都忽略了原始距离在重新排名中的重要性，但我们将原始距离和Jaccard距离合并在一起以修改初始排名列表，最终距离d∗d^ ∗d∗定义为

其中λ∈[0，1]表示惩罚因子，它惩罚远离探针p的图库。当λ=0时，只考虑k-互惠距离。相反，当λ=1时，只有原始的距离是考虑的。第4节讨论了λ的影响。最后，可以通过对最终距离进行升序来获得修订后的排名列表L∗（p，G)\mathcal{L^ ∗（p，G)}L∗（p，G)。

3.6. Complexity Analysis

在提出的方法中，大多数计算成本集中在所有画廊对的成对距离计算上。假设画廊集的大小为N，距离度量和排名过程所需的计算复杂度分别为O(N2)O(N^2)O(N2)和O(N2logN)O(N^2 logN)O(N2logN)。但是，在实际应用中，我们可以离线预先计算成对距离并获得画廊的排名列表。结果，给定一个新的探针p，我们只需要计算复杂度为O(N)的p和Gallery之间的成对距离，并以计算复杂度为O(NlogN）O(NlogN）O(NlogN）来排名所有最终距离。