Partial Adversarial Domain Adaptation学习笔记

文章目录

Partial Adversarial Domain Adaptation学习笔记
- tip
- Abstract
- Introduction
- Partial Adversarial Domain Adaptation
- Domain Adversarial Neural Network
- Partial Adversarial Domain Adaptation

tip

对目标域的样本预测值进行基于源域类别重要性权值的平均化。

Abstract

作者首先提出部分域适应的问题设定，即目标域的类别空间是源域的类别空间的子集。之后提出 Partial Adversarial Domain Adaptation (PADA)，能在源域分类器以及域对抗部分的训练中自动把对属于非共享类别中样本的权重降低，来减轻负迁移问题；并通过对齐共享类别空间中样本的特征分布来促进正向迁移。

Introduction

作者提出的PADA是一个端到端的框架，并在很大程度上扩展了域对抗适应方法的能力以解决新的部分域适应情况。PADA在共享类别空间中对齐源域样本和目标域样本的特征分布，更重要的是，识别属于非共享类别的无关源域样本，并自动降低它们的重要性权值。与以前的方法相比，关键的改进是能够同时促进相关源域数据的正向传输和减轻不相关源数据的负向传输。

Partial Adversarial Domain Adaptation

本文作者提出部分域适应，源域表示为Ds={(xi,yi)}i=1nsD_s=\{(x_i,y_i)\}^{n_s}_{i=1}Ds={(xi,yi)}i=1ns,其中nsn_sns表示源域样本的数量，源域拥有类别的个数为∣Cs∣|C_s|∣Cs∣。目标域表示为Dt={xi}i=ns+1ns+ntD_t=\{x_i\}^{n_s+n_t}_{i=n_s+1}Dt={xi}i=ns+1ns+nt，其中ntn_tnt表示目标域未标注样本的数量，目标域拥有类别的个数为∣Ct∣|C_t|∣Ct∣。目标域的类别空间是源域类别空间的子集：Ct⊂CsC_t\sub C_sCt⊂Cs，即∣Cs∣>∣Ct∣|C_s|>|C_t|∣Cs∣>∣Ct∣.源域与目标域的概率分布分别由p与q表示，且$p_{C_t}\neq q ，其中，其中，其中p_{C_t}表示源域中属于目标域类别空间表示源域中属于目标域类别空间表示源域中属于目标域类别空间C_t的样本的分布。本文的目标就是设计一个深度神经网络模型，通过学习可迁移的特征的样本的分布。本文的目标就是设计一个深度神经网络模型，通过学习可迁移的特征的样本的分布。本文的目标就是设计一个深度神经网络模型，通过学习可迁移的特征f=G_f(x)以及适应分类器以及适应分类器以及适应分类器y=G_y(f)$来减小域间差异。

在部分域适应中存在两大难点：

由于目标域的样本未标注，源域域目标域的概率分布不同，所以在源域DsD_sDs训练的分类器GyG_yGy不能直接运用到目标域DtD_tDt。
无法得知源域类别空间CsC_sCs中的哪部分与目标域类别空间CtC_tCt共享，因为CtC_tCt在训练中是无法访问的。

一方面，该方法要减轻由源域中非共享类别Cs/CtC_s/C_tCs/Ct造成的负迁移；另一方面，减少pCtp_{C_t}pCt和qqq之间的分布差异，促进正向迁移，实现共享类别空间CtC_tCt中的知识迁移。

Domain Adversarial Neural Network

对抗网络能够有效地提取可迁移特征，其中包括一个域分类器GdG_dGd来区别源域与目标域，还有一个特征提取器经过微调后来欺骗域分类器。

为了得到域不变性特征fff，通过最大化域分类器GdG_dGd的损失来学习特征提取器GfG_fGf的参数θf\theta_fθf，通过最小化域分类器的损失来学习GdG_dGd的参数θd\theta_dθd的参数。同时还要最小化标签分类器GyG_yGy的损失。

则对抗网络的目标函数为：

C0(θf,θy,θd)=1ns∑xi∈DsLy(Gy(Gf(xi)),yi)−λns+nt∑xi∈Ds∪DtLd(Gd(Gf(xi)),di)（1）C_0(\theta_f,\theta_y,\theta_d)=\frac{1}{n_s}\sum\limits_{x_i\in D_s}L_y(G_y(G_f(x_i)),y_i)-\frac{\lambda}{n_s+n_t}\sum\limits_{x_i \in D_s\cup D_t}L_d(G_d(G_f(x_i)),d_i)（1）C0(θf,θy,θd)=ns1xi∈Ds∑Ly(Gy(Gf(xi)),yi)−ns+ntλxi∈Ds∪Dt∑Ld(Gd(Gf(xi)),di)（1）

其中的λ\lambdaλ参数为权衡参数。当训练收敛后，参数θ^f,θ^y,θ^d\hat{\theta}_f,\hat{\theta}_y,\hat{\theta}_dθ^f,θ^y,θ^d表达公式（1）的鞍点：

(θ^f,θ^y)=argmin⁡θf,θyC0(θf,θy,θd)(\hat{\theta}_f,\hat{\theta}_y)=arg\min\limits_{\theta_f,\theta_y}C_0(\theta_f,\theta_y,\theta_d)(θ^f,θ^y)=argθf,θyminC0(θf,θy,θd)

(θ^d)argmax⁡θdC0(θf,θy,θd)(\hat{\theta}_d)arg\max\limits_{\theta_d}C_0(\theta_f,\theta_y,\theta_d)(θ^d)argθdmaxC0(θf,θy,θd)

Partial Adversarial Domain Adaptation

在部分域适应问题中，由于目标域的类别空间是源域类别空间的子集，所以直接进行迁移的话会造成一部分目标域的样本被强迫与源域非共享类别中的样本对齐，从而造成负迁移。由于在显示情况中，我们使用非常大的数据集作为源域的样本，而目标域的数据集较小，所以∣Ct∣<<∣Cs/Ct∣|C_t|<< |C_s/C_t|∣Ct∣<<∣Cs/Ct∣。于是要想方法减小甚至消除非共享类别样本造成的负迁移的影响。

本文提出PADA方法，它的主要思想就是在源域分类器以及域对抗网络的训练中降低源域属于非共享类别样本的重要性权值。作者发现源域分类器对于每一个源域样本xix_ixi输出的y^i=Gy(xi)\hat{y}_i=G_y(x_i)y^i=Gy(xi)很好地表征了样本xix_ixi属于源域∣Cs∣|C_s|∣Cs∣个类别中的某一类的概率。

因为源域非共享类别空间和目标类别空间是不相交的，所以目标样本应该与非共享类别空间中的源域样本显著不同。因此，将目标域样本对齐到源域非共享类别的概率yik，k∈Cs/Cty^k_i，k\in C_s/C_tyik，k∈Cs/Ct是很小的。但源域分类器可能会在一些目标域样本上犯一些错误，并为错误类别分配较大概率。为了消除这种错误，作者提出对目标域所有样本的标签预测值进行平均化，因此，表示每个源类对训练的贡献的权重可以计算如下：

γ=1nt∑i=1ntyi^\gamma=\frac{1}{n_t}\sum\limits_{i=1}\limits^{n_t}\hat{y_i}γ=nt1i=1∑ntyi^

其中γ\gammaγ是一个∣Cs∣|C_s|∣Cs∣维的权重向量，其中的每一维代表对应的源域类别的重要性。具体来说，由于目标域的样本不属于源域的非共享类别空间，所以对应非共享类别的权重一定比共享类别的权重低。由于γ\gammaγ的定义∑k=1∣Cs∣γk=1\sum\limits^{|C _s|}\limits_{k=1}\gamma_k=1k=1∑∣Cs∣γk=1,有可能一些权重的值会非常小，所以对γ\gammaγ的值进行如下调整：γ←γ/max(γ)\gamma\leftarrow \gamma/max(\gamma)γ←γ/max(γ)。

于是PADA的目标函数为:

这里的yiy_iyi表示源域样本xix_ixi的ground truth标签，而γyi\gamma_{y_i}γyi表示相应的类别权重，$\lambda 表示相应的衡量参数，优化任务最终找到参数表示相应的衡量参数，优化任务最终找到参数表示相应的衡量参数，优化任务最终找到参数\hat{\theta_f},\hat{\theta_y},\hat{\theta_d}$满足：

Partial Adversarial Domain Adaptation学习笔记相关推荐

Importance Weighted Adversarial Nets for Partial Domain Adaptation学习笔记
Importance Weighted Adversarial Nets for Partial Domain Adaptation学习笔记文章目录 Importance Weighted Adve ...
(PADA)Partial Adversarial Domain Adaptation笔记
(PADA)Partial Adversarial Domain Adaptation笔记提出了部分对抗性领域自适应算法(PADA),它通过降低离群源类别数据的权重来减轻负迁移,并通过匹配共享标签空 ...
Gradually Vanishing Bridge for Adversarial Domain Adaptation（CVPR2020）笔记
Gradually Vanishing Bridge for Adversarial Domain Adaptation(CVPR2020)笔记举两个现有方法存在弊端的例子: Domain sepa ...
Transferability vs. Discriminability: Batch Spectral Penalization for Adversarial Domain Adaptation
ICML2019: Transferability vs. Discriminability: Batch Spectral Penalization for Adversarial Domain A ...
语义分割-CyCADA: Cycle-Consistent Adversarial Domain Adaptation.循环一致对抗领域自适应
CyCADA: Cycle-Consistent Adversarial Domain Adaptation. 0.摘要 1.概述 2.相关工作 3.循环一致性对抗领域自适应 4.实验 4.1.数字数 ...
最优传输论文（六十四）：Gradually Vanishing Bridge for Adversarial Domain Adaptation论文原理
文章目录前言摘要 1. Introduction 2.相关工作 3. Method 3.1. Adversarial Domain Adaptation 3.2. Gradually Vanish ...
【论文翻译】DANN的改进ADDA Multimodal Vigilance Estimation with Adversarial Domain Adaptation Networks
[论文翻译]DANN的改进ADDA: Multimodal Vigilance Estimation with Adversarial Domain Adaptation Networks 1.研究背 ...
Backprop Induced Feature Weighting for Adversarial Domain Adaptation with Iterative Label Distributi
反向传播算法诱导的特征加权用于迭代标签分布对齐的对抗域适应研究问题: 主流的基于对抗的方法在适应过程中通常会忽略分类器,而且对分类没有影响的背景特征也得到了适应. 存在标签分布偏移( LDS ),源 ...
Gradually Vanishing Bridge for Adversarial Domain Adaptation
文章领域:迁移学习效果: 结构: 这篇文章对它所提出来的GVB的描述,还是挺模糊的,没有具体的网络结构表,所以想要详细理解,还要去它公开的代码里去看.(https://github.com/cuis ...

Partial Adversarial Domain Adaptation学习笔记

Partial Adversarial Domain Adaptation学习笔记

文章目录

tip

Abstract

Introduction

Partial Adversarial Domain Adaptation

Domain Adversarial Neural Network

Partial Adversarial Domain Adaptation

Partial Adversarial Domain Adaptation学习笔记相关推荐

最新文章

热门文章