迁移学习系列--领域泛化

迁移学习的核心就是通过减少源域和目标域之间的分布差异，进而利用源域信息完成目标域的学习。与领域自适应问题强调适配源域与目标域之间的数据分布相比，领域泛化更强调有源域学习到的模型可以泛化到任意新出现的领域。
领域自适应问题一般有一个目标域（或多个目标域），领域泛化问题没有这个要求，重点强调模型对任意未知的目标域都有一定的学习能力。
领域泛化的两种基础模型：
（1）将多个领域的数据合并并进行模型，得到一个共享模型
（2）每个领域训练一个独立的模型，采用集成思想对未知目标域进行预测
领域泛化常用方法：
1. 基于数据分布自适应的领域泛化方法
核心思想：将多个源域之间的分布差异在特定的空间中进行缩小，使学习到的模型具有强大的泛化能力。
2. 基于集成的领域泛化方法
基于集成的方法与基于数据分布自适应方法相比，它没有显示的处理数据域之间的分布差异，而是通过设计网络结构和训练方式，学习新数据与多个源数据的表征关系，进而达到泛化的目的。可以假设给定的N个源域可以近似构成表示所有数据域的基向量，也就是说任意的数据均可以有现有的基向量以一定的组合形式构成。很自然的解决办法是，在N个源域中分别训练一个独自的分类器，然后加权集合这些分类器。
3. 基于数据生成的领域泛化方法
（1）数据增强（旋转、平移、噪声等）
（2）对抗数据生成方法
4. 基于元学习的领域泛化方法
核心思想就是利用元学习的思想，将现有的训练数据按一定的规则分成任意多的任务，从而可以模仿元学习的训练方法，在元训练上训练，在元测试上测试。

迁移学习系列--领域泛化相关推荐

一篇综述带你全面了解迁移学习的领域泛化(Domain Generalization)
领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向.它研究的问题是从若干个具有不同数据分布的数据集(领域)中学习一个泛化能力强的模型,以便在未知 (Un ...
迁移学习：领域自适应的理论分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达领域自适应即Domain Adaptation,是迁移学习中很重要 ...
迁移学习系列--迁移学习理论
1.域适应理论分类 (1)基于差异的误差界限 (2)基于积分概率矩阵的误差界限 (3)基于PCA-Bayesain的误差界限基于差异的误差界限指出目标域泛化误差受源域期望误差和源域与目标域之间的分布 ...
迁移学习前沿探究探讨：低资源、领域泛化与安全迁移
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 作者丨王晋东整理丨维克多迁移学习是机器学习的一个重要研究分支,侧重于将已经学习过的知识迁移应用于新的问题中,以增强解决新问题的能力. ...
时间序列预测新范式——基于迁移学习的AdaRNN方法
本文转载自知乎王晋东不在家的<小王爱迁移>系列之十五:自动选择源域的迁移学习方法源地址为:<小王爱迁移>系列之32:时间序列预测新范式--基于迁移学习的AdaRNN方法 - ...
Python 迁移学习实用指南：1~5
原文:Hands-On Transfer Learning with Python 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译后编辑(MT ...
迁移学习(Transfer)，面试看这些就够了！(附代码)
1. 什么是迁移学习迁移学习(Transfer Learning)是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中.迁移学习是通过从已学习的相关任务 ...
一文讲清楚什么是迁移学习？以及它都用在哪些深度学习场景？
作者 | Jason Brownlee 翻译 | AI科技大本营参与 | 刘畅迁移学习是机器学习方法之一,它可以把为一个任务开发的模型重新用在另一个不同的任务中,并作为另一个任务模型的起点. 这在 ...
迁移学习让深度学习更容易
深度学习在一些传统方法难以处理的领域有了很大的进展.这种成功是由于改变了传统机器学习的几个出发点,使其在应用于非结构化数据时性能很好.如今深度学习模型可以玩游戏,检测癌症,和人类交谈,自动驾驶. 深度 ...

迁移学习系列--领域泛化

迁移学习系列--领域泛化相关推荐

最新文章

热门文章