本文都是李宏毅老师课堂上的总结

背景和意义：

通常在实际生活中我们的训练集和测试集有很大的差异，例如下图左边为你的训练集，而真正让你进行检测和预测的确是右边的图片。

1. Domain Adaptaion 与 transformer learing的区别

Domain Adaptation 是 transformer learing 的一个子部分

如上图所示
就是只有source domain 有label ，在不同的domain 中预测相同的任务

2.什么是domain？

按照数据分类（例如：我们举出的背景例子中的两个数据可以理解为两个不同的domain）
按照任务分类（例如：分割任务，分类任务）

Source domain（S）：主要是指我们的训练集这里每个数据都有相应的label
Target domain（T）：主要是预测集没有label 而且与S 是不同的domain

3.运用

例如使用gta5 的街景数据，帮助真实世界的街道数据分割之类的任务，因为gta是电脑生成的很容易获取位置

4.原理

Features：这里就是指的提取出的特征，例如通过resnet 或者vgg提取出的特征如下图所示

我们可以将特征假设在一个向量空间中，我们可以看出s和t的特征分布的差别非常的大，所以我们希望可以将这两个向量空间的映射到一个相似的区间之内。

希望得到的：

5.实现方法

主要的实现方法分为三类：

Discrepancy-base methods
Adversarial-based methods
Reconstruction-based methods

我个人认为 2 和 3的主要区别在于是否分解 3是对数据的分解而2主要是让网络提取 S和T的特征分布相似。

1. Discrepancy-base methods
主要通过一些统计量，计算Target domain 和 Source domain的距离，希望他们统计量上的分布式非常接近的.
样例paper：Deep Domain Confusion：Maximizing for Domain Invariance

上图可以看出该种方法的思想：中左侧可以看出 S：中可以对数据进行分类，但是T和S 的分布差距比较大，后来经过处理之后得到右侧的图片，S和T的分布相似，而且可以通过S的分布和判断标准实现对T的分类。

实现方法如上图所示：就是在Φ 上抽出features 计算距离，计算的方式就是Maximum Mean Discrepancy。

2. Adversarial-based Approaches
Domain Classifier：判断图片来自T 还是 S

Simultaneous Deep Transfer Across Domains and Tasks 开山之作
假设：

paper：的主要内容

Maximu Domain Confusion

类似于GAN的思想：首先希望classifer可以正确分类，然后将classifer的参数不变，修改feature extractor希望他可以骗过classifer
Transfer Label Correlation

让判断东西可能性也是相符合，class 与 class 之间的关系也作为一个特征。

在实现上述之前为了突出class之间的关系我们将Harder lablel 转为 Soft label

Pixel Level：使用GAN 进行对于原图生成神奇宝贝然后交给鉴别器鉴别，最后用来分类。
文章为什么叫做Pixel level：其实默认s和t之间high level的性质差不多，但是low-level的差别较大。

3. Reonstruction-based
Deep Spearation Networks

解释：

因为我们的目标是分离出特征所以希望Private Target Encoder 和 Shared Encoder 得出的feature 越不相似越好所以我们做的就是通过让他们得出的feature 相乘等于0 等于相互独立

Frobenius norm(Frobenius 范数)

拉近相似度的距离：

L （reconstruction）为了训练出来的不是垃圾可以重新生成之后和原本的数据非常相似。

Feature Disentanglement：例子：InfoGAN，ACGAN

他和其他gan 不同的地方在于有C(latent) 是可解释的

他的C（class）使得可以生成不同class 的照片

Domain Adaptation相关推荐

迁移学习——Domain Adaptation
Domain Adaptation 在经典的机器学习问题中,我们往往假设训练集和测试集分布一致,在训练集上训练模型,在测试集上测试.然而在实际问题中,测试场景往往非可控,测试集和训练集分布有很大差异, ...
近期必读的9篇CVPR 2019【域自适应（Domain Adaptation）】相关论文和代码
[导读]最近小编推出CVPR2019图卷积网络.CVPR2019生成对抗网络.[可解释性],CVPR视觉目标跟踪,CVPR视觉问答,医学图像分割,图神经网络的推荐相关论文,反响热烈.最近,Domain ...
Domain adaptation：连接机器学习（Machine Learning）与迁移学习（Transfer Learning）
domain adaptation(域适配)是一个连接机器学习(machine learning)与迁移学习(transfer learning)的新领域.这一问题的提出在于从原始问题(对应一个 so ...
基于matlab的fisher线性判别及感知器判别_Deep Domain Adaptation论文集(一)：基于label迁移知识...
本系列简单梳理一下<Deep Visual Domain Adaptation: A Survey>这篇综述文章的内容,囊括了现在用深度网络做领域自适应DA(Domain Adaptati ...
迁移学习之域自适应理论简介（Domain Adaptation Theory）
©作者 | 江俊广单位 | 清华大学研究方向 | 迁移学习本文主要介绍域自适应(Domain Adaptation)最基本的学习理论,全文不涉及理论的证明,主要是对部分理论的发展脉络的梳理,以及 ...
从近年顶会论文看领域自适应（Domain Adaptation）最新研究进展
©PaperWeekly 原创 · 作者 | 张一帆学校 | 中科院自动化所博士生研究方向 | 计算机视觉 Domain Adaptation 即在源域上进行训练,在目标域上进行测试. 本文总结了 ...
详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
本文对基于激光雷达的无监督域自适应3D物体检测进行了研究,论文已收录于 ICCV2021. 在Waymo Domain Adaptation dataset上,作者发现点云质量的下降是3D物件检测器性 ...
【论文阅读】Universal Domain Adaptation
Universal Domain Adaptation SUMMARY@2020/3/27 文章目录 Motivation Related Work Challenges / Aims /Contri ...
【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
主动领域自适应(Active Domain Adaptation)部分经典论文汇总
只简单找了一小部分 CVPR [link] [code] [TQS] [21] Transferable Query Selection for Active Domain Adaptation [l ...

Domain Adaptation