Introduction

对称与非对称概念

基于某种确定的度量，将其中某个域的特征映射到另一个域的特征空间中（“非对称”映射），或将源域和目标域的特征一起映射到一个新的共享空间（“对称”映射）。
非对称映射比对称映射能更好地模拟低层次特征的差异。

ADDA

ADDA首先使用源域中的标签学习判别表示，然后使用通过域对抗损失学习的非对称映射将目标数据映射到源特征空间（目标编码器）。

Adversarial discriminative domain adaptation

主要目标是正则化源和目标映射Ms和Mt的学习，从而使经验源和目标映射分布Ms(Xs)和Mt(Xt)之间的距离最小化,之后，源分类器Cs可以直接应用于目标域特征表示，无需学习单独的目标分类器。
1）首先，训练源分类模型：

2）接着是对域鉴别器D根据eq2优化，源域标签为1，目标域为0.

3) 领域对抗技术的通用公式如下:

LadvM对生成器Mt进行最小化训练达到域混淆的效果，让判别器判别错误，将Mt(xt)判别为1，来自源域。

ADDA与DANN的不同

DANN使用梯度反转层对映射进行了优化，直接使鉴别器损失最大化:

这种极大极小目标可能会导致梯度消失，因为**在训练的早期，鉴别器会快速收敛，导致梯度消失。**本文使用GAN loss
DANN中，s域和t域的特征共用一个extractor，训练过程实现的是extractor对s域和t域特征的对称映射。
ADDA优化公式LadvM 公式7提供了更有力的目标映射梯度。

图3.ADDA方法概述。1）首先使用标记的源图像示例预训练一个源编码器CNN。2）通过学习目标编码器CNN来执行对抗性域适应，效果就是域鉴别器就不能可靠地预测域标签。3）在测试过程中，目标图像通过目标编码器映射到共享特征空间，并由源分类器进行分类。虚线表示固定的网络参数。

注意，在ADDA中，对源和目标分别使用独立的映射Ms,Mt，并且只反向学习Mt。特征生成器模拟另一个不变分布的情况下，GAN损失函数是标准选择，其中真实图像分布保持固定，并学习生成分布以匹配它。
在两个分布都在变化的情况下，这个目标将导致振荡。此时，域混淆目标被提出，在此目标下，映射使用针对均匀分布[12]的交叉熵损失函数进行训练:

这种损失确保了对抗性鉴别器对两个域是相同的。

通用框架选择

图2.对抗域适应的通用架构。第二问指的是生成器的权重是否共享。

ADDA使用判别基模型、未共享权值和标准GAN损耗。
1）选择判别基模型，因为我们假设生成理想的域内样本所需的许多参数与判别适应任务LadvD无关。反例是CoGAN，与大多数方法一样，直接在判别空间中进行优化。
2）未共享权值，独立的源映射和目标映射，会学习到更多领域特定的特征提取。我们使用预训练的源模型作为目标表示空间的初始化，并在对抗性训练期间固定源模型。

如何确定Mt参数以及约束ψ(Ms, Mt)？

所有方法都使用源域映射Ms参数初始化目标映射Mt参数，但是不同的方法在源映射和目标映射之间选择不同的约束ψ(Ms, Mt)，目标是确保目标映射Mt的设置能够最小化源域和目标域在各自映射下的距离。
考虑一个分层表示法，各层参数表示为M l s或M l t,等价层集合{L1,……Ln}，n为样本数。探索的约束空间可以通过分层的等式约束描述如下:

每个层都可以被独立约束，一种常见的约束形式是源和目标分层相等:

基础论文 (一) ADDA相关推荐

计算机应用基础10000字论文,计算机应用基础论文
计算机应用基础论文计算机应用基础论文怎么写?许多人并不是很清楚了解,以下是小编整理的相关范文,欢迎阅读. 摘要:企业对毕业生的计算机水平要求越来越高,计算机成为检测学生专业素质与专业技能的标准之一. ...
计算机文化基础知识在未来工作中的应用论文,大学计算机文化基础论文范文2篇...
随着互联网时代的全面到来,计算机应用能力的培养作为普及计算机应用技能的先决条件对互联网经济时代的全面发展起着重要作用.下面是秋天网小编为大家推荐的大学计算机文化基础论文,供大家参考. 大学计算机文化基 ...
计算机基础课程教学创新,计算机基础课程教学学生创新能力的培养-计算机基础论文-计算机论文（12页）-原创力文档...
计算机基础课程教学学生创新能力的培养-计算机基础论文-计算机论文 --文章均为WORD文档,下载后可直接编辑使用亦可打印-- 摘要:作为高校教育中一门具有基础性的重要课程,计算机基础课程对于发展学生综 ...
有关计算机基础的论文,有关计算机基础论文范文.doc
第 PAGE 页码页码页 / 总页数 NUMPAGES 总页数总页数页有关计算机基础论文范文导读:我根据大家的需要整理了一份关于<有关计算机基础论文范文>的内容,具体内容:随着 ...
高校计算机基础能力测试文字处理,高校计算机基础论文3篇(共8238字).doc
高校计算机基础论文3篇(共8238字) 高校计算机基础论文3篇(共8238字) 第一篇:高校计算机基础课程实践教学一.面向应用的计算机基础课程实践教学模式的构建为实现计算机基础课程教学的培养目标, ...
计算机应用基础教学改革参考文献,关于计算机应用基础论文范文资料与计算机应用基础课程教学改革分析有关论文参考文献...
<计算机应用基础课程教学改革分析>:本论文可用于计算机应用基础论文范文参考下载,计算机应用基础相关论文写作参考研究. 21世纪被誉为"科技生产力时代",计算机网络技术已 ...
可以写计算机哪些方面的论文,计算机应用基础方面论文题目计算机应用基础论文题目哪个好...
为论文写作提供[100道]计算机应用基础方面论文题目,海量计算机应用基础相关论文题目,包括专科与本科以及硕士论文题目,解决您的计算机应用基础论文题目哪个好的相关难题! 一.比较好写的计算机应用基础论文 ...
CNN基础论文精读+复现----VGG(一)
文章目录前言第1页第2-3页第四页第五页前言原文Github地址:https://github.com/shitbro6/paper/blob/main/VGG.pdf 原文arxiv地 ...
[基础论文阅读]QMIX: Monotonic Value Function Factorization for Deep Multi-agent Reinforcement Learning
[基础论文阅读]QMIX: Monotonic Value Function Factorization for Deep Multi-agent Reinforcement Learning 题目含 ...

基础论文 (一) ADDA