前言

领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向。它研究的问题是从若干个具有不同数据分布的数据集（领域）中学习一个泛化能力强的模型，以便在未知 (Unseen) 的测试集上取得较好的效果。本文介绍DG领域的第一篇综述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。该论文一共调研了 160篇文献，其中直接与领域泛化相关的有 90 篇。文章从问题定义、理论分析、方法总结、数据集和应用介绍、未来研究方向等几大方面对领域泛化问题进行了详细的概括和总结。

问题定义

领域泛化问题与领域自适应 (Domain Adaptation，DA)最大的不同：DA在训练中，源域和目标域数据均能访问（无监督DA中则只有无标记的目标域数据）；而在DG问题中，我们只能访问若干个用于训练的源域数据，测试数据是不能访问的。毫无疑问，DG是比DA更具有挑战性和实用性的场景：毕竟我们都喜欢“一次训练、到处应用”的足够泛化的机器学习模型。

例如，在下图中，DA问题假定训练集和测试集都可以在训练过程中被访问，而DG问题中则只有训练集。

DG问题的示意图如下所示，其形式化定义如下：

DG不仅与DA问题有相似之处，其与多任务学习、迁移学习、元学习、终身学习等，都有一些类似和差异之处。我们在下表中对它们的差异进行了总结。

理论

我们从Domain adaptation理论出发，分析影响不同领域学习结果的因素，如 H -divergence、 HH divergence等，继而过渡到领域Domain generalization问题中，分析影响模型泛化到新领域的因素。从理论上总结了领域泛化问题的重要结果，为今后进行相关研究指明了理论方向。

方法

领域泛化方法是我们的核心。我们将已有的领域泛化方法按照数据操作、表征学习、学习策略分为三大方面，如下图所示。

其中：

数据操作，指的是通过对数据的增强和变化使训练数据得到增强。这一类包括数据增强和数据生成两大部分。
表征学习，指的是学习领域不变特征(Domain-invariant representation learning)以使得模型对不同领域都能进行很好地适配。领域不变特征学习方面主要包括四大部分：核方法、显式特征对齐、领域对抗训练、以及不变风险最小化(Invariant Risk Minimiation, IRM)。特征解耦与领域不变特征学习的目标一致、但学习方法不一致，我们将其单独作为一大类进行介绍。
学习策略，指的是将机器学习中成熟的学习模式引入多领域训练中使得模型泛化性更强。这一部分主要包括基于集成学习和元学习的方法。同时，我们还会介绍其他方法，例如自监督方法在领域泛化中的应用。

应用与数据集

领域泛化问题在众多领域都得到了广泛应用。大多数已有工作偏重于设计更好的DG方法，因此，其往往都在图像分类数据上进行评估。除此之外，DG方法还被应用于行人再识别(Re-ID)、语义分割、街景识别、视频理解等计算机视觉的主流任务中。

特别地，DG方法被广泛应用于健康医疗领域，例如帕金森病识别、组织分割、X光胸片识别、以及震颤检测等。

在自然语言处理领域，DG被用于情感分析、语义分割、网页分类等应用。

DG也在强化学习、自动控制、故障检测、语音检测、物理学、脑机接口等领域中得到了广泛应用。

下图展示了领域泛化问题中流行的标准数据集。

未来挑战

我们对DG进行以下展望：

连续领域泛化：一个系统应具有连续进行泛化和适配的能力，目前只是离线状态的一次应用。
新类别的领域泛化：目前我们假定所有的领域具有相同的类别，未来需要扩展到不同类别中、乃至新类别中。
可解释的领域泛化：尽管基于解耦的方法在可解释性上取得了进步，但是，其他大类的方法的可解释性仍然不强。未来需要对它们的可解释性进行进一步研究。
大规模预训练与领域泛化：众所周知，大规模预训练（如BERT）已成为主流，那么在不同问题的在规模预训练中，我们如何利用DG方法来进一步提高这些预训练模型的泛化能力？
领域泛化的评价：尽管有工作在经验上说明已有的领域泛化方法的效果并没有大大领先于经验风险最小化，但其只是基于最简单的分类任务。我们认为DG需要在特定的评测，例如行人再识别中才能最大限度地发挥其作用。未来，我们需要找到更适合DG问题的应用场景。

参考

https://zhuanlan.zhihu.com/p/354740610

领域泛化（Domain Generalization）相关推荐

一篇综述带你全面了解迁移学习的领域泛化(Domain Generalization)
领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向.它研究的问题是从若干个具有不同数据分布的数据集(领域)中学习一个泛化能力强的模型,以便在未知 (Un ...
【领域泛化】论文介绍《Respecting domain relations Hypothesis invariance for domain generalization》
[领域泛化]论文介绍<Respecting domain relations Hypothesis invariance for domain generalization> 论文地址摘 ...
域泛化（Domain Generalization）相关知识学习
文章目录一.域泛化综述 1)Domain定义 2)Domain Generalization(DG)定义 3)一些相关领域与DG的区别 4)领域泛化的方法表示学习领域不变表示学习 ①基于核的方法 ...
【领域泛化论文阅读】Generalizing to Unseen Domains: A Survey on Domain Generalization
传统的机器学习是假设训练数据和测试数据独立同分布进行训练的,当训练数据和测试数据的分布不同,也就是域分布不同时,模型的性能将大大下降.而迁移学习是在训练数据和测试数据服从不同的数据的概率分布时,提高模 ...
【领域泛化】论文介绍《Learning to balance specificity and invariance for in and out of domain generalization》
[领域泛化]论文介绍<Learning to balance specificity and invariance for in and out of domain generalization ...
【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation
这篇论文从任务的难度来解决领域泛化问题,论文认为如果模型的学习任务太难的话,容易发生过拟合,学习到的特征是域特有的特征而不是域不变特征,这样很难学习到泛化的特征.因此论文假设简单的任务可以提高目标域的 ...
如何通过Meta Learning实现域泛化（Domain Generalization）？
©作者 | 丘明姗单位 | 华南理工大学研究方向 | 领域泛化域泛化(Domain Generalization)中有很多工作是用 meta learning 做的.Meta learning ...
【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
关于图像白化和色彩变换的基本内容可以参考: 图像标准化.图像白化.色彩变换_S L N的博客-CSDN博客论文是针对语义分割的领域泛化模型.论文提出了SAN和SAW两个模块来增强类别之间的分离,类内 ...
从ICML 2022看域泛化（Domain Generalization）最新进展
©PaperWeekly 原创 · 作者 | 张一帆单位 | 中科院自动化所博士生研究方向 | 计算机视觉 Domain Generalization(DG:域泛化)一直以来都是各大顶会的热门研究 ...

领域泛化（Domain Generalization）

文章目录

前言

问题定义

理论

方法

应用与数据集

未来挑战

参考

领域泛化（Domain Generalization）相关推荐

最新文章

热门文章