Aligning Domain-Specific Distribution and Classifier for Cross-Domain Classification from Multiple

转自：https://blog.csdn.net/qq_33244951/article/details/100987483

本论文是我在读迁移学习方面阅读和理解最为轻松的一篇，论文条理清晰容易理解。方法简单有效，思路明了，实验也做的非常全面，而且对我等初学者很是友好，可以学习学习人家的方法和思路进行一些实验和思考，好了直接上货：

论文：Aligning Domain-Specific Distribution and Classifier for Cross-Domain Classification from Multiple Sources
代码：https://github.com/easezyc/deep-transfer-learning

Motivation

近年来，基于深度学习的多源无监督域自适应(MUDA)算法主要通过将所有对源域和目标域在一个公共特征空间中的分布进行对齐，来提取所有域的公共域不变表示。然而，通常很难为所有域MUDA提取相同的域不变表示。此外，这些方法在不考虑类之间特定于领域的决策边界的情况下匹配分布。本文正是为要解决这些问题,提出一个新的两阶段对齐框架,1）不仅将每一对源和目标域的分布在多个特定的领域空间对齐（使用mmd）,2）还将分类器的输出,利用每两个特定于域的边界差最小化之和求得。

Method

previous work

对于多源域的迁移学习，简单来说就是多对一的迁移，以前的做法是：对于多对源域-目标域进行同一个空间的学习，最小化其损失函数（如下）求得：

其中J（，：，）表示交叉熵函数（分类损失函数）;D（，：，）表示两领域间的度量距离（例如使用MMD等）;F（.）表示特征提取器用于将所有领域映射到同一个特征空间;C（.）表示分类器。

Two-stage alignment Framework

本文提出的两阶段的对齐框架包括三部分：
1）共同特征提取器：作为特征提取器的一个子网络，用于提取所有领域的共同特征
2）特定领域特征提取器：将每对源领域-目标域的提取特征映射到一个特定特征空间（类似单领域迁移）
3）特定领域分类器：由2）后对每对特定领域进行softmax分类输出对其使用交叉熵损失函数：

Domain-specific Distribution Alignment

对于第一阶段特定领域分布的对齐，论文还是使用的著名的Maximum Mean Discrepancy (MMD)对两领域进行度量，通过将源领域和目标域映射到再生核希尔伯特空间使用MMD测量：

一般实际中输入数据使用的MMD如下：

在论文中对于特地领域分布对齐所使用的MMD损失函数为：

Domain-specific Classifier Alignment

对于第二阶段特定领域分类器的对齐，作者认为类边界附近的目标样本更容易被从源样本中学习到的分类器错误分类。分类器是针对不同的源域进行训练的，因此对目标样本特别是类边界附近的目标样本的预判可能存在分歧。所以直观上认为，不同分类器预测的同一目标样本应该得到相同的预测。因此，第二个对齐阶段是最小化所有分类器之间的不一致性。作者利用所有分类器对目标域数据概率输出之差的绝对值作为差异损失:

Multiple Feature Spaces Adaptation Network

对此，作者通过以上特定领域分布对齐和特定领域分类器对齐，即基于利用特征和分类器同时适配进行多源迁移，提出一个多层特征空间适配网络（MFSAN）。总体的损失函数即为两阶段对齐中的各自损失函数和特定领域分类器的交叉熵损失函数之和：

其中论文中也给出了整体网络框架的算法流程：

一点想法
1）个人觉得论文行云流水，通特易解，实验充分有据，是一篇非常值得阅读学习的迁移学习的文章。
2）损失函数
3）两阶段
4）其他目的