Progressive Domain Adaptation from a Source Pre-trained Model

Introduction

这是一篇无源领域自适应的论文，考虑到领域自适应中源域数据的隐私问题，作者提出一种名为progressive domain adaptation (PrDA) 的方法，只利用源域模型以及无标签的目标域数据进行领域自适应。作者在一开始
指出：如果我们将目标域数据输入源域模型，输出的熵（self-entropy）越小，那么可以认为预测正确的可能性越大。基于上述理论，我们可以从目标域数据中选取可靠的样本，将它们作为类的原型（class prototypes），即最能代表某一类别的样本。然后我们利用这些样本为目标域的所有样本加伪标签，这样便可自监督训练模型。同时作者还提出了一种过滤机制（set-to-set distance-based filtering），过滤掉伪标签不可靠的样本。

PrDA framework

整个框架分为两部分。虚线框内是在源域上训练出的模型，参数是固定的。下面是用源域模型初始化后的目标域模型，通过优化两个损失函数进行训练。接下来是框架的细节部分。

Adaptive prototype memory

作者提出的APM模型用于为目标域加伪标签。首先通过分类器C_t输出每个目标域样本的预测概率，然后计算熵：

其中N_c表示类别数目，除以它的对数目的是进行归一化。
接着为每一个类别构建一个集合，用于存储预测结果为该类别的样本的熵：

然后为每个类别选取可靠样本。首先设置一个阈值：

首先取每个类别熵集合的最小值，然后在这些最小值中选取最大值。
然后根据阈值选取样本：

在每个类别的熵集合中选取熵小于等于阈值的样本，将它们的特征作为该类别的prototype。

Pseudo labeling

利用APM模型为目标域加伪标签。

这一步比较简单，分别计算样本特征与每一个类别中prototypes的平均余弦相似度，选取余弦相似度最大的类别作为该样本的标签。

Confidence-based filtering

基于置信度的过滤。作者注意到，通过APM加的伪标签有可能是不准确的，这样会影响训练的效果。为了解决这一问题，作者用set-to-set distance来衡量伪标签的置信度，并且过滤掉伪标签置信度低的样本。计算方法如下：

M_t1和M_t2 分别表示与样本的余弦相似度最大和第二大的两个类别，d是一个衡量距离的函数。公式看似比较复杂，其实思想很简单，求出样本到M_t1中prototype的最大距离和到M_t2的最小距离，然后两者相比较，确定w的取值，结合这幅图比较容易理解，第二种情况时说明伪标签的置信度较高，可以用于监督训练。

Optimization

论文中一共训练了两个分类器C_s2t和C_t ，第一个分类器是为了保留源域模型的知识，同时也可作为正则化项。用源域模型给目标域加伪标签，然后监督训练，损失函数如下：

第二个分类器通过APM模型获得的伪标签监督训练，并且过滤了伪标签不可靠的样本，损失函数如下：

总的损失函数：

算法：

Progressive Domain Adaptation from Source Pre-trained Model相关推荐

[论文翻译]数据集的domian问题:Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training
论文pdf下载: 链接 Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training 使用自集成和对抗性 ...
cross-domin，Domain adaptation 与 Domain generalization学习
参考: [迁移学习]Domain Adaptation系列论文解析(不断更新中) - 知乎同任务但不同domain数据的统一模型 transfer learning 和 cross domain 有 ...
无源领域自适应：Source Hypothesis Transfer for Unsupervised Domain Adaptation
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adap ...
2020 Domain Adaptation 最新论文：插图速览（三）
2020 Domain Adaptation 最新论文:插图速览(三) 目录 Learning to Combine: Knowledge Aggregation for Multi-Source D ...
【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
Domain adaptation from daytime to nighttime: A situation-sensitive vehicle detection and traffic…（翻）
Title:Domain adaptation from daytime to nighttime: A situation-sensitive vehicle detection and traff ...
[论文速览]：Multi-source Domain Adaptation for Semantic Segmentation
Multi-source Domain Adaptation for Semantic Segmentation [NeurIPS 2019] [2020: MADAN: Multi-source A ...
迁移学习之域自适应理论简介（Domain Adaptation Theory）
©作者 | 江俊广单位 | 清华大学研究方向 | 迁移学习本文主要介绍域自适应(Domain Adaptation)最基本的学习理论,全文不涉及理论的证明,主要是对部分理论的发展脉络的梳理,以及 ...
详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
本文对基于激光雷达的无监督域自适应3D物体检测进行了研究,论文已收录于 ICCV2021. 在Waymo Domain Adaptation dataset上,作者发现点云质量的下降是3D物件检测器性 ...
【论文阅读】Universal Domain Adaptation
Universal Domain Adaptation SUMMARY@2020/3/27 文章目录 Motivation Related Work Challenges / Aims /Contri ...

Progressive Domain Adaptation from Source Pre-trained Model