domain adapation 初步理解

domain adapation（领域自适应）是迁移学习的一种，也是目前迁移学习中主要研究方向，旨在解决测试数据不方便采集、标注，耗时耗力等情况，希望通过迁移学习提高识别准确率。

Domain adapation 回顾

核心问题：训练资料和测试资料的分布不同，采用迁移学习的方法，提高准确率。

情况一：有一小部分标注了的测试资料
这种算是domain adapation中很简单的情况了，你可以用这些有标注的资料，来微调你在 Source Domain（训练集）上训练出来的模型，只要稍微跑2-3个epoch就够了。这种情况需要小心不要overfitting。解决方法比如说把 Learning Rate 调小一点,举例来说你要让（ fine tune）前，跟（ fine tune）后的模型的参数相近一些。
情况二：都是从未标注了的测试资料
首先找一个Feature Extractor，将不同分布的相同部分提取出来（将颜色信息去除，只保留数字的形状信息）。那么怎么确保能只保留我们想要的数字形状信息呢？其实这就是涉及到分布问题了。信息相同就是分布相同，这时候放入Domain Classifier中，我们目的就是让Domain Classifier 判断不出来。其实这个和GAN有点类似。但是如果仅仅这样是不行的，因为可能特征提取器会偷懒，大不了都输出0向量呗，是吧。这样分类器就都是0，就分不出来了。所以最后还要加一个类别预测器，防止特征提取器投机取巧。
这里要补充一下，为啥GAN没有输出特征都是0的情况呢？因为GAN是生成一幅图片，然后判别器判断生成的图片与实际的图片的差异。注意，是实际的图片，因为实际的图片不是0向量啊，所以生成器就不可能投机取巧的生成0向量。但是领域自适应中，Domain Classifier是将source和target经过特征提取器后重新生成的，所以当然可能有0向量了。
Considering Decision Boundary
举例来说一个最简单的做法是说，今天我有很多 Unlabeled 的图片，丢到 Feature Extractor,再丢到 Label Predictor 以后,我不知道它是哪一个类别,但是我希望它离 Boundary 越远越好。那什么叫做离 Boundary 越远越好呢。
严峻考验：
1、我们到目前为止，好像都假假设 Source Domain 跟 Target Domain 的类别都要是一模一样。假设Source Domain 是影像分类的问题，Source Domain 有老虎、狮子跟狗，Target Domain 也应该要有老虎、狮子跟狗，但是真的一定会这样吗？
2、一个更严峻的状况，假设不只没有 Label，而且 Data 还很少，比如说我就只有一张图片而已。这时候你根本没法去做特征提取了吧。
3、还有一个更严峻的状况，上述好歹也知道一张图片，至少知道图片是什么风格的吧，但如果我什么都不知道怎么办呢？
因为我们对 Target Domain 一无所知，这个时候我们就不叫 Domain 的 Adaptation,通常就叫 Domain Generalization 我们是期待今天机器学到Domain Generalization。在 Testing 的时候，不管来什麼神奇的 Domain，它都可以处理。（核心思想是 data argumention ）
3.1 训练资料有很多类别，但是不知道target domain是啥样的
3.2 训练资料只有一类，同样不知道target domain是啥样。

Domain adapation 一些疑惑

1、迁移学习中的domain adaptation的定义说特征空间相同，这里指的是什么意思？

答：是的，特征空间相同，特征分布不同。特征空间相同就是特征是一样的，不同的领域，双方都有相同的特征，比如二次元的人脸和真实的人脸都有鼻子嘴巴（举例子，不同的特征空间：图片和文本肯定是不同的特征空间）。此外，上述例子中他们的特征分布却是不同，因为他们一个是二次元，另一个是真是世界的。再举个例子，比如在房价预测问题上有两个特征，分别是面积还有楼层，但是一部分房子是在市区，一部分是在郊区，这种就是“特征空间相同，特征分布不同”
参考：https://www.zhihu.com/question/61666343

2、Domain Adaptation学术上有哪些方向，还有哪些可做的地方？

答：https://www.zhihu.com/question/337731079

3、领域自适应需要用到测试集数据，这样的方法有啥意义呢？

答：领域自适应主要是为了利用source域丰富的已标注数据，来减轻target域的标注成本，可以用无标注的 target 域数据来提高模型在 target 域的性能。如果是完全不见到target域的数据，仅使用 source 域的数据来训练一个泛化性能好的模型，这类任务叫做domain generalization，也是现在研究的一个热点。

4、迁移学习是不是除了领域自适应就没啥可做了？

答：迁移学习主要集中在领域自适应，而自适应大多又集中在深度自适应，因此领域自适应是迁移学习的主流。
但是近段时间，领域泛化问题 domain generalization 也是研究热点。
DA 和 DG 的 problem definition 是一样的，但是 DA 的设计理念是基于一些已有的 target 信息的。而 DG 是没有target信息的，因此要求 DG 要足够 roboust，能 cover 广泛的 distribution shift。
参考：https://www.zhihu.com/question/385627179