Abstract

行人重识别(Re-ID)是一项具有挑战性的任务，由于身份样本和成像条件的高差异。尽管最近随着在深度学习方面的进步已经在固定场景中取得了显著的准确性，但是对于不可见的目标域，很少有作品能很好地推广。一种常用的解决方法是通过聚类给未标记的目标图像配上伪标签，然后对模型进行再训练。然而，聚类方法往往会引入有噪声的标签，丢弃作为离群值的低置信值样本，这可能会阻碍再训练过程，从而限制泛化能力。在本研究中，作者认为通过在聚类后明确地加入样本过滤程序，可以更有效地使用挖掘的样本。为此设计了一个非对称协同教学框架，该框架通过协同两个模型为对方选择可能具有干净标签的数据来抵抗标签噪声。同时，一个模型接收尽可能纯的样本，而另一个模型接收尽可能多样化的样本。这个过程鼓励选择的训练样本既干净又杂，并且这两个模型可以迭代地相互促进。大量的实验表明，所提出的框架可以一致地受益于大多数基于聚类的方法，并提高了最新的自适应精度。

Introduction

行人重识别的目标是通过给定的探测图像在监控视频中定位目标人物。随着深度学习模型的快速发展，公共数据集中的person re-ID的准确性大大提高。然而，在源域上训练的模型经常会受到域转移的影响，从而导致在不同的目标域上性能下降。

为了缓解这一问题，近期的作品主要域自适应(UDA)是将知识从有标记的源域转移到无标记的目标域。这些工作主要有两个方面，分配对齐和目标伪标签发现等。前者旨在减小共同空间中域之间的分布差距，如图像级和属性水平。后者试图利用目标样本之间的潜在关系，预测伪标签用于模型再训练，如基于聚类分配伪标签。其中，基于聚类的方法报道了非常具有竞争性的准确性。这些方法通常采用一种迭代过程，根据聚类预测未标记目标样本的伪身份，并利用这些预测样本对模型进行微调。尽管基于聚类的方法取得了良好的效果，但主要存在两个缺点。一方面，即使使用现代的聚类方法，也不能保证聚类的准确性，从而使聚类分配的伪标签存在噪声。用带有噪声的标签的模型训练错误的身份，无疑会损害识别性能。另一方面，大多数聚类方法倾向于将低置信值样本作为离群值，不给它们分配聚类标签，如DBSCAN。这些异常值通常是遇到高图像变化的硬样本。如果在训练时不考虑这些样本，模型可能会在识别高变异检验样本时出现问题。但是，直接将它们分配到最近的聚类中会带来更多的噪声标签，阻碍模型的再训练。

协同教学(CT)是一种常用的带噪标签的训练模型算法，它通过将一个网络损失较小的样本喂给另一个网络来学习两个网络。然而，大多数的协同教学框架利用了两个网络的对称输入，这不能有效地应用于基于聚类的跨域行人重识别。这是因为置信度低的训练样本在训练过程中损失较大。由于使用对称输入，模型总是选择简单的样本，而忽略了小批量训练中的低置信样本。因此，上述第二个缺点仍然存在，将导致reID模型达到局部最小值。

图1:提出的非对称协同教学框架(ACT)。“M”和“C”分别表示主模型和协作模型。首先对源标记数据进行训练，然后对聚类预测的伪标签目标数据进行微调，得到“M”和“C”的初始权值。“M”接收来自inliers和outliers尽可能不同的样本，而“C”在ACT期间从inliers接受尽可能纯净的样本。这一过程促使两种模式相互促进彼此的辨别能力。

首先选择最先进的基于聚类的方法作为基准，并提出了一种非对称协同教学框架，以消除上述两个缺点带来的负面影响。具体来说，我们首先根据聚类结果将目标样本分为内群点和离群点(如图1所示)。在本文中，我们将聚类方法识别的低置信样本视为离群点，其余为内群点。然后，用两个模型训练我们的框架。第一种是主要模型，目的是从内群层点中推断出损失较小的样本;第二种是协作者模型，目的是从离群值中估计损失较小的样本。选取由某一模型推断/估计的样本进行另一模型的训练。这个训练过程与传统的协同教学相似，除了两个模型的输入是不对称的，即两个模型的训练数据来自两个不同的数据流。这样，选择损失较小的样本，就可以保证用尽可能干净的数据训练模型。此外，这两个模型是相互迭代推进的。一方面，主模型试图从内群点中挖掘尽可能纯粹的样本，以维护协作者模型的基本表示。另一方面，合作者模型试图从离群值中选择尽可能多样化的样本，以进一步提高主模型的识别能力。我们的贡献概括为三个方面:
介绍了在跨域人识别中采用协同教学技术来抵抗聚类产生的带噪标签。实验表明，使用过滤后的数据进行学习可以持续提高自适应精度。
我们将未标记的目标数据划分为inliers和outliers，并设计了一个非对称协同教学(ACT)框架，使reid模型在适应的早期阶段看到困难的样本。实验表明，非对称方法在处理硬样本时比对称方法更有效。
在三个大规模数据集上的实验表明，我们的方法可以应用于各种基于聚类的方法，并在person re-ID中产生最先进的自适应精度。

Related Work

最近关于跨域re-ID的研究主要可以归结为分布对齐和基于聚类的改编。分布对齐试图缩小公共空间的分布差距，这可以进一步概括为图象层和属性层。对于图像级适应方法，PT-GAN使用cycleo -gan或Star-GAN将已标记源图像的前景转换为目标相机风格进行适应。类似地，SPGAN利用了Cycle-GAN和名为“自相似性”和“域不同”的附加约束来提高精确度。但是，由于生成的图像与真实图像相比还有很大的差距，图像级自适应算法不能保证生成的图像的身份。对于属性级自适应方法，MMFA试图通过最小化平均最大差异(mean maximum difference, MMD)来对齐不同数据集之间中层语义属性的分布。TJ-AIDL利用多分支网络，建立了对目标域最优的识别和属性敏感的特征表示空间。这些工作需要对源数据进行属性标注，在实际操作中很难获得。

基于聚类的适应是适应reid模型的另一种直接的方法。Fan等人使用k-means预测未标记目标数据的伪标签，用于模型微调。然而，在聚类中很难确定正确的k值。Song et al.提出了一种基于dbscan的自适应方法，该方法可以根据特征的密度来发现簇的数量。基于聚类的方法虽然可以获得较高的领域适应reid精度，但大多数方法忽略了聚类结果中标注错误的样本，直接使用它们进行训练，这对模型的性能产生了负面影响。

最近关于跨域re-ID的研究主要可以归结为分布对齐和基于聚类的改编。分布对齐试图缩小公共空间的分布差距，这可以进一步概括为图象层和属性层。对于图像级适应方法，PT-GAN使用cycleo-gan或Star-GAN将已标记源图像的前景转换为目标相机风格进行适应。类似地，SPGAN利用了Cycle-GAN和名为“自相似性”和“域不同”的附加约束来提高精确度。但是，由于生成的图像与真实图像相比还有很大的差距，图像级自适应算法不能保证生成的图像的身份。对于属性级自适应方法，MMFA试图通过最小化平均最大差异(mean maximum difference, MMD)来对齐不同数据集之间中层语义属性的分布。TJ-AIDL利用多分支网络，建立了对目标域最优的识别和属性敏感的特征表示空间。这些工作需要对源数据进行属性标注，在实际操作中很难获得。

The Proposed Method

设T为无标记目标训练集，S为有标记源训练集。无监督域自适应试图同时利用T和S来学习一个能很好地推广到目标测试集的reid模型。

提出的ACT就是为了解决这个问题，它包括三个阶段:(1)源模型训练。(2)Clustering-based适应。(3)适应的非对称协同教学。前两个阶段的目标是通过对带标记的源数据进行初始化，利用聚类生成的伪标签对目标数据进行微调，得到具有基本判别能力的模型。第三阶段通过第二阶段自适应模型初始化的两个模型相互协作来应对噪声标签。在第三阶段，我们首先根据聚类结果将目标训练集分割为inliers和outliers，然后用 /对小损失样本从/训练模型/ 。算法1说明了该方法的总体过程。接下来，我们将详细描述所提出的方法。

Source Model Training
在我们的方法的第一阶段，我们训练源模型用标记的源数据集S，通过crossentropy loss和triplet loss。基于源数据的训练模型具有基本的适应区分能力。

Clustering-based Adaptation
由于源数据集和目标数据集之间的域转移，所得到的源数据集模型通常不能很好地推广到新的数据集上。为了解决这一问题，我们遵循一个强健可靠的适应框架。采用Msrc(source model)提取目标图像的pool -5特征，并根据DBSCAN的聚类结果将T划分为inliers Ti和outliers To。进一步的培训可以根据注释的inliers Ti进行。通过引入聚类距离度量和损失函数，给出了自适应算法。

Distance metric for clustering.聚类的距离度量，选择k–reciprocal编码和Jaccard距离作为聚类的距离度量。其中，我们首先通过以下方法计算成对相似度矩阵M:
其中是样本i和j之间通过使用pool -5特征的相似性，R∗(i, k)是样本i的改进的k-reciprocal集，它是通过添加一些具体的可靠约束得到的。得到相似度矩阵M后，Jaccard距离 (i, j)可计算由:

其中Ntis是目标训练数据集的总图像数。为了提高相似度，每个目标特征应该接近一些源特征，即。最小化:其中Ns(xi)是目标图像i在源域内的最近邻居，考虑dJ和dw，最终的聚类距离度量为:

其中，λ∈[0,1]为平衡因子，本研究中我们将其设为0.1。

Loss function.给定计算出的距离矩阵M，对未标记的目标数据集T执行DBSCAN，并将其划分为inliers Ti和outliers To。Ti中的每个示例被分配到一个集群。因此，我们可以使用tir的伪标签对Msrc进行微调，并根据优化后的msrcr迭代更新聚类结果。在Msrc的微调中，我们只使用了triplet loss。通过使用pool -5和fc-2048特征计算每个批次数据的三重损失:

其中Nb为训练批大小，p和n是锚点图像a中最不相似的正样本和最相似的负样本。xp, xn和xa表示对应的正样本、负样本和锚点样本的特征。经过自适应，得到了一个更好的re-ID模型Mada。但是，如第1节所述，由于源和目标域分布不一致，模型提取的特征对于下游的聚类任务并不足够可靠。因此，聚类结果可能会包含很多有噪声的标签。

Asymmetric Co-Teaching for Adaptation.最初的联合教学部署了两个网络来寻找可能干净的标签，即，噪声数据集中样本损失小的。通过将一个网络挖掘的样本发送到另一个网络进行优化，可以大大降低标签错误的影响。然而，协同教学并不能有效地应用于跨领域的reid教学。一方面，选取的小损失样本易于模型学习，对提高re-ID精度的积极作用有限。另一方面，在协同教学过程中难以考虑到损失值高的硬样本，这可能限制了适应训练样本的多样性。总之，传统的协同教学容易使reid模型收敛到局部最小值，不利于网络鲁棒性的培养。

为了解决上述问题，我们在第三阶段提出了一种新的无监督跨域reid的类似协同教学的框架。在该框架中，我们利用已有的Mada初始化了主模型mmainator和合作者模型mcoator。Mmainand Mcoare随后接受了不对称的训练。mcotry从离群值中推断出纯数据用于Mmain的培训，这鼓励Mmain使用更可靠但多样化的样本进行培训。mmain专注于从inliers中挖掘尽可能干净的样本进行Mco的训练，确保Mcocan在保持基本表示的同时易于样本聚类。

Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification简单翻译理解相关推荐

【ICCV 2019】Self-similarity Grouping: A Simple Unsupervised Cross DA Approach for Person Re-id（SSG）
下方↓公众号后台回复"SSG",即可获得论文电子资源. SSG 背景知识 Person re-identification (re-ID) unsupervised domain ...
关于ajax跨域请求（cross Domain）
Cross Domain AJAX主要就是A.com网站的页面发出一个XMLHttpRequest,这个Request的url是B.com,这样的请求是被禁止的,浏览器处于安全考虑不允许进行跨域访问, ...
添加本地图层出现要求cross domain policy的错误
错误描述: A security exception occured while trying to connect to the REST endpoint. Make sure you have ...
Cross Domain Knowledge Transfer for Person Re-identiﬁcation笔记
Cross Domain Knowledge Transfer for Person Re-identiﬁcation笔记 1 介绍 2 相关工作 3 方法 3.1 特征提取的ResNet 3.2 特 ...
【论文分享】无监督恶意域名检测：Unsupervised malicious domain detection with less labeling effort
题目:Unsupervised malicious domain detection with less labeling effort 链接:https://linkinghub.elsevier. ...
《Domain Separation Networks》文献翻译
<Domain Separation Networks>论文翻译前言:最近在学习迁移学习部分的知识,在代码中复现了康奈尔大学的经典论文:<Domain Separation Net ...
iframe cross domain
http://blog.cakemail.com/the-iframe-cross-domain-policy-problem/ 转载于:https://www.cnblogs.com/dmdj/p/ ...
部署在SAP云平台上的应用, 该如何解决跨域问题Cross Domain
要获取更多Jerry的原创文章,请关注公众号"汪子熙":
Ajax用证书调用,跨域的jQuery AJAX调用，带证书(Cross domain jQuery ajax call
我已经遵循以下步骤: 获取服务器允许跨域调用(与所有的标题和东西) 这个工程测试服务器与一些跨域调用此作品获取服务器以强制证书这工作一起去参加一个浏览器的服务器上的文件,选择合适的证书,并看到该 ...

Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification简单翻译理解