Re-ranking Person Re-identiﬁcation with k-reciprocal Encoding

1.Introduction
3. Proposed Approach
- 3.1 Problem Definition
- 3.2 k-reciprocal Nearest Neighbors
- 3.3 Jaccard Distance
- 3.4 local query expansion
- 3.5 Final Distance
- 3.6 实验分析
4 Experiments
- 4.2 Datasets and Settings
- 实验分析

基础假设：
if a gallery image is similar to the probe in the k-reciprocal nearest neighbors, it is more likely to be a true match.
如果 probe 以及它在gallery里搜索出来的candidate对象，的k个nearest相似，那么这一candidate成为true match的可能性更大一些。

1.Introduction

一般来讲，reID可以当做一个检索问题来处理。具体这篇可见
Top:The query and its 10-nearest neighbors, where P1-P4 are positives, N1-N6 are negatives.
Bottom:Each two columns shows 10-nearest neighbors of the corresponding person.
Blue and green box correspond to the probe and positives, respectively. We can observe that the probe person and positive persons are 10-nearest neighbors reciprocally. 由图可见，probe和positive互为10阶-最近邻。
大多数基于re-rank的work，一个基本的假设是，如果一个返回的图像在探测器k-最近的邻居中排名，它很可能是一个真正的匹配，可以用于后续的re-rank。
然而，现实可能偏离理想情况：错误匹配很可能包括在probe的k个最近邻中。例如，在图1中，P1、P2、P3和P4是4个查询图probe的真实匹配，但是它们并不是都包括在top-4中。我们观察到一些错误匹配（N1-N6）获得高排名。这样，直接使用top-k的图像可能在re-ranking系统中引入噪声并损害最终结果。
在文献中，k-reciprocal nearest neighbor[15，35]是解决上述问题的有效方法，即被错误匹配影响的top-k图像。当两幅图像称为k-阶近邻时，任取一幅图像作为探针时，两幅图像中另一幅都排在前k位。因此，k- 阶近邻作为一个更严格的规则，判断两个图像是否匹配。图1可见，probe和true matched images都互为近邻。这一结论用在初始排名列表中来确定true matches，能改进re-rank的结果。
作者方法分三步：
1.将加权k阶邻居集编码成向量，形成k阶特征。然后两幅图像之间的Jaccard距离可以通过它们的k-阶特征来计算。
2.为了获得更鲁棒的k-阶特征，我们开发了一个本地查询扩展方法（ local query expansion approach ）来进一步提高reid性能。
3.最终距离计算为原始距离和Jaccard距离的加权总和。
随后用于获取重新排序的列表，如图2所示。

图2为人员重新识别提出的重新排序框架。给出一个probe p和一个图库，分别提取每个人的外观特征和k-倒数特征。然后计算每对探测人和gallery人的原始距离d和Jaccard距离dJ。最后的距离dd计算为d和dJ的组合，用来获得建议的排名列表。

3. Proposed Approach

3.1 Problem Definition

给定查询图像p和 gallery set（包含N幅图像，G = {gi | i = 1, 2, …N }），p和gi之间的原始距离可以用马氏距离（Mahalanobis distance）衡量，

其中，xp个xgi分别代表查询图p和检测集gallery中gi的外观特征，M是半正定矩阵。我们可以根据这个距离对p和G排序，距离从小到大排列：
其中，
我们的目标是对这个初始排序列表重新排序，使得更多的正样本出现在列表的前段。

3.2 k-reciprocal Nearest Neighbors

首先，定义k-nearest neighbors（k-nn），即排序列表的前k个样本：
|…|代表N(p,k)数量,然后定义 k-reciprocal nearest neighbors (k-rnn)，即，满足gi和p均在对方的前k邻近排序里面的 gi 的集合:

由先前的描述分析可知，与k-nearest neighbors相比，k-reciprocal nearest neighbors邻近与probe p更具相关性。然而，由于不同的光照、姿势、视角和遮挡，正例可能会在k-nearest之外，也就不在k-reciprocal nearest neighbors里面。为解决这一问题，对每一个R（p,k）我们添加了 1/2k-reciprocal nearest neighbors,来增强其鲁棒性：

上式的意思是，对于原本的集合R(p,k)中的每一个样本q，找到它们的k-rnn集合R(q,k/2)，对于重合样本数达到一定条件的，则将其**并入R(p,k).**通过这种方式，将原本不在R(p,k)集合中的正样本重新带回来。文中给了一个例子来说明这一过程，如下图所示：

3.3 Jaccard Distance

此部分，重计算probe p和gallery gi的距离。基于：若两张图片相似，他们的k-rnn就会有重叠部分，重复图像越多，两张图片越相似。通过Jaccard Distance度量他们k-rnn 集合的相似度：

|…|表示集合中样本的数量，虽然这一方法可以度量两张图片的相似度，但是仍有一些显见的缺点：
（1）计算两个集合的交集和并集十分耗时，尤其是Jaccard Distance要计算所有图片对。一个可选办法是**将邻近集编码成一个等效但更简单的向量，**极大的减少计算复杂度。
（2）所有的邻近集样本在计算距离时都是一样的权重，这样得到一个简单但是不具备区分性的邻近集。实际上，**距离更接近probe的更可能是正样本。*因此，在原始的距离基础上重新计算权重，给更近的样本分配更大的权重是合理的。
（3）在衡量两个人之间的相似度时，仅仅考虑上下文信息就会造成相当大的障碍，因为 不可避免的差异 使得区分足够的上下文信息变得困难。因此，合并原始距离和Jaccard距离对于鲁棒距离非常重要。
通过k-rnn解决上述前两个问题，把k-rnn集合编码成向量Vp=[Vp,g1 ,Vp,g2 ,…, Vp,gN]，由一个二进制指示函数初定义：

这样，k-rnn集合可以看做一个N维向量，向量中每项表示对应的图像是否包含在R（p,k）中。然而，这一函数仍然是每个邻近样本权重一致。因此，我们根据probe 与其邻居之间的原始距离重新分配权重，用高斯核函数来重新定义两两之间的距离：

这样权重就hard to soft，越邻近权重越大，越远权重越小。（由 d(p,gi) 到 Vp,gi ）这样，交集和并集中的样本数可以计算为：

其中，min和max对两个输入向量进行基于元素的最小化和最大化操作。min/max = 相似最远的情况/相似取最近的情况 。||…||是指L1正则化，相加求和。这样更新Jaccard距离：

由等式（5）到（10），实际上是将集合比较问题转化为纯粹的向量计算，实践起来更简单。

3.4 local query expansion

由于来自同一个类的图像可能具有相似的特性，我们使用probe的k-rnn近邻来实现本地查询扩展。本地查询扩展定义为：

对每个Vp向量，看作是他的k-rnn集合的性凉的平均。
因此，k-倒数特征Vp由 probe p的k近邻扩展。注意，我们在probe p和库gis上都实现了这个查询扩展。由于k近邻中存在噪声，我们将本地查询展开中使用的N(p,k)的大小限制为较小的值。为了区分式7和式11中使用的R(gi,k)和N(p,k)的大小，我们将前者分别表示为k1，后者表示为k2，其中k1 > k2.

3.5 Final Distance

在本节中，我们将重点讨论式5的第三个缺点。现有的重排序方法大多忽略了原距离在重排序中的重要性，我们将原距离和Jaccard距离联合起来对初始排序列表进行修正，最终的距离dd定义为:

其中aaa∈[0,1]表示惩罚因子，当aaa=0时，惩罚距离probe p较远的gallery，只考虑k倒数距离。反之，当aaa = 1时，只考虑初始距离。aaa的效果将在第4节中讨论。最后，按最终距离的升序排序，得到修正后的排序表L*(p,G)。

3.6 实验分析

在该方法中，大部分计算量都集中在对所有gallery对的成对距离计算上。假设gallery集的大小为:N,距离度量所需的计算复杂度为:O(N^ 2)，排序过程分别为:O(N^ 2logN)。但在实际应用中，我们可以离线计算成对距离，提前得到gallery的排名列表。因此，给定一个新的probe p，我们只需要用O(N)计算复杂度计算出p和gallery之间的成对距离，并用O(NlogN)计算复杂度对所有的最终距离进行排序。

4 Experiments

4.2 Datasets and Settings

评价指标：
我们使用两个评估指标来评估所有数据集上的reid方法的性能。首先是累积匹配特性(CMC)。将reid作为一个排序问题，我们报告了rank-1处的累积匹配精度。另一个是将reid作为对象检索问题考虑的平均平均精度(mAP)，如[50]所述。
特征表示：
local maximal occurence(LOMO)特征用于表示人的外貌[24]。它对于视角和光照变化是鲁棒的。此外，还利用了[54]中提出的id判别嵌入(IDE)特性。针对CaffeNet[19]和ResNet-50[14]等分类模型，对IDE萃取器进行了有效的训练。它为每个图像生成1,024-dim(或2,048-dim)向量，这在大规模的reid数据集中是有效的。为了便于描述，我们将CaffeNet和ResNet-50上的IDE分别缩写为IDE ©和IDE ®。我们使用这两个方法作为reid框架的基线.

实验分析

The baseline methods are LOMO [24] and IDE [54] trained on CaffeNet。关于k1,k2,aaa设置对实验效果的影响。

实验效果精彩表现：

参考link

Re-ranking Person Re-identiﬁcation with k-reciprocal Encoding笔记相关推荐

Unsupervised person re‑identification via K‑reciprocal encoding and style transfer
1 Introduction 该文献研究完全无监督的re-ID问题,设计的算法主要基于以下三个方面:(1)克服不同相机的图像风格差异,例如照明.遮挡和视点(使用StarGAN生成多张不同风格的图片,并 ...
【Paper】2020_Anomaly Detection and Identiﬁcation for Multiagent Systems Subjected to Physical Faults
Y. Li, H. Fang and J. Chen, "Anomaly Detection and Identification for Multiagent Systems Subjec ...
Machine Learning Approach to RF Transmitter Identiﬁcation
第一遍包括以下步骤: 仔细阅读标题,摘要和介绍. 只阅读节和子节的标题,忽略其他内容. 阅读结论. 浏览一下参考文献,在心里勾出你已经读过的. 在第一遍的阅读之后,你应该能够回答下面五个问题: 类别 ...
Devign: Effective Vulnerability Identiﬁcation byLearning Comprehensive Program Semantics viaGraph
摘要:漏洞识别对于保护软件系统免受网络安全攻击至关重要.在源代码之间本地化易受攻击的功能以促进修复尤为重要.但是,这是一个具有挑战性且乏味的过程,并且还需要专门的安全专业知识.受来自各种代码表示图的手 ...
跨模态行人重识别：Cross-Modality Person Re-Identiﬁcation viaModality-Aware CollaborativeEnsemble Learning学习笔记
基于模态感知的协同集成学习的跨模态行人重识别简介本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法,该方法同时处理了特征层和分类器层的模态差 ...
网站被k的原因症状有哪些，网站被k怎么恢复(笔记）
一.网站被K的症状蜘蛛不再抓取.访问您的网站. site:网站域名显示不存在搜索框输入网址找不到网站网站更新的内容,不再被收录. 收录量,不断的下降或者收录为0. 网站的快照倒退,回档到以前, ...
论文阅读：Automatic Detection and Classication of Teeth in CT Data
[论文信息] MICCAI 2012 会议论文文章实现了中全自动的牙齿检测和分类,对象为CBCT/MSCT,实验数据集是43套临床头部CT图像. 主要是两个步骤: 1. 分割上颌骨: 2. 分成16 ...
论文翻译 3-3Flexible Metric Nearest Neighbor Classi¯cation 弹性度量最近邻居分类
弹性度量最近邻居分类 Flexible Metric Nearest Neighbor Classi¯cation Jerome H. Friedman¤杰罗姆 h. 弗里德曼斯坦福,加利福尼亚州 ...
Improving person re-identiﬁcation by attribute and identity learning[reading notes]
----------------------------- 博文发表于夏木青 | JoselynZhao,欢迎访问博文原文. 这里是论文PDF链接. ------------------------- ...
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identiﬁcation阅读总结
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identiﬁcation(TJAIDL) ...

Re-ranking Person Re-identiﬁcation with k-reciprocal Encoding笔记