Enhancing Diversity in Teacher-Student Networks via Asymmetric branches for Unsupervised reid论文解读

收录于WAVC2021
论文地址：https://openaccess.thecvf.com/content/WACV2021/papers/Chen_Enhancing_Diversity_in_Teacher-Student_Networks_via_Asymmetric_Branches_for_Unsupervised_WACV_2021_paper.pdf

出发点

M-T模型可以减小无监督reid任务中聚类的噪声，但是，teacher和student的自我集成容易让网络迅速收敛到一个局部最小值。因此，在网络中提出一个非对称结构：1、非对称分支能以不同方式提取特征，从而增强了在外观特征的多样性。2、提出了跨分支有监督学习，让一个分支获取另一个分支的监督信息，从而传递了不同的知识，增强了教师和学生网络之间的权重多样性。

introduction

1、指出基于聚类方法产生噪声原因：domain gap和聚类方法本身的缺陷

2、针对无监督reid问题转变为：①如何生成可靠标签；②如何处理带有噪声的标签

针对①，本文参考MMT方法产生硬标签和软标签；针对②，一个主流方法是paired network，如，co-teaching或MMT。然而，这些具有相同结构的成对模型很容易相互收敛并陷入局部最小值。当前的解决方法：co-teaching+、ATC和MMT，前两个通过选择不同训练样本或不同的初始化方法，MMT是利用不同数据增强，它们核心都是让paired model保持divergence（具有差异性）

3、方法

对student和teacher网络中的最后一层，采用两个独立的分支，每个分支有不同的深度和池化方法，然后将两个分支结果拼接，优点：1、增加特征多样性；2、获得更好的硬聚类标签。同时，每个分支之间又可以做监督，提升了两个网络的差异性。

4、贡献

①把网络最后一层分成两个不对称分支，提升了硬标签的质量（本质上是特征的多样性得到提升）

②提出了一种新颖的解耦方法，该方法使非对称分支得到跨分支的监督，避免了成对师生网络中权重的相互收敛，提高了基于教师的软标签的质量。

方法

非对称分支

1、多分支结构在有监督网络广泛应用，目的：让每个分支具有独立性，从而获得多样性的特征。

2、动机：用不同的分支获取不一样的特征。

3、优点：在源域用这种结构训练得到一定提升，证明它可以提升特征的多样性；在目标域效果则证明它可以提供更有效的聚类硬标签。

Asymmetric Branched Mean Teaching

源域训练

两个分支的结果都做三元和交叉熵，共4个损失

目标域训练

1、采用DBSCAN聚类方法，聚类特征为teacher网络的两个分支的拼接结果

2、对于UDA采用的是两个域共同输入；对于完全无监督，只输入目标域。

3、对每个分支的分类器，用聚类结果的聚类中心归一化特征来初始化分类器（就是自己代码中的copy_），给了个名字——动态分类器，因为每次聚类的类别数目不同。

4、提出基于teacher的跨分支软标签——把teacher的不同分支结果作为student不同分支结果的软标签。

MT结构的耦合问题

1、作者认为自己的方法能在每次训练都让student和teacher学到更多不一样的特征，从而防止两个网络易于互相耦合的情况。

2、实验证明：计算了MMT结构的teacher网络之间（teacher的两个分支之间）特征欧氏距离，以及teacher和student之间的距离，距离越大，说明差异性/多样性越大。

个人理解

1、它本质上还是只用了全局特征，只是把最后一层改成两个全局特征分支，然后在不同分支之间做损失

2、它的出发点包装的很好，可以学习

3、它画了三个图：M-T结构、MMT结构、自己的结构，用于说明MT结构的问题——耦合问题，两个网络容易收敛到对方，因此需要探究多样化问题。