迁移学习系列--方法篇

已有的迁移学习方法大致可以分为三类：
（1）基于样本的迁移学习方法
（2）基于特征的迁移学习方法
（3）基于模型的迁移学习方法
以下分别介绍上述三种类型的迁移学习方法：
1. 基于样本的迁移学习方法
核心思想：从源域数据集中筛选出部分数据，使得筛选出的部分数据与目标数据概率分布近似。
1.1 基于样本选择的方法
假设源域与目标域样本条件分布不同但边缘分布相似，可以根据基于距离度量的方法和基于元学习的方法等方法进行样本选择。
1.2 基于样本权重的方法
假设源域与目标域样本条件分布相似但边缘分布不同，通过概率密度比指导样本权重学习。
2. 基于特征的迁移学习方法
2.1 基于最大均值差异（MMD）的迁移学习方法
将源域与目标域样本映射到可再生和希尔特空间（RKHS），并最小化二者之间的差异。边缘分布的MMD距离可表示为：

条件分布的MMD距离可表示为：

3. 基于模型的迁移学习方法（深度学习）
深度神经网络浅层学习通用特征，深层学习与任务相关的特殊特征。
神经网络迁移性总结：
（1）神经网络的前几层基本都是通用特征，迁移的效果比较好
（2）深度迁移网络中加入微调，效果提升比较大，可能会比原网络效果好
（3）微调可以比较好的克服数据之间的差异性
（4）深度迁移网络要比随机初始化权重效果好
（5）网络层数的迁移可以加速网络的学习和优化

迁移学习系列--方法篇相关推荐

模型微调迁移学习Finetune方法大全
迁移学习广泛地应用于NLP.CV等各种领域,通过在源域数据上学习知识,再迁移到下游其他目标任务上,提升目标任务上的效果.其中,Pretrain-Finetune(预训练+精调)模式是最为常见的一种迁移 ...
迁移学习系列--领域泛化
迁移学习的核心就是通过减少源域和目标域之间的分布差异,进而利用源域信息完成目标域的学习.与领域自适应问题强调适配源域与目标域之间的数据分布相比,领域泛化更强调有源域学习到的模型可以泛化到任意新出现的领 ...
迁移学习系列--迁移学习理论
1.域适应理论分类 (1)基于差异的误差界限 (2)基于积分概率矩阵的误差界限 (3)基于PCA-Bayesain的误差界限基于差异的误差界限指出目标域泛化误差受源域期望误差和源域与目标域之间的分布 ...
vue.js学习系列-第二篇
一 VUE实例生命周期钩子 1 生命周期函数定义生命周期函数就是vue在某一时间点自动执行的函数 2 具体函数 1 new vue() 2 be ...
EXTJS学习系列提高篇:第二十五篇(转载)作者殷良胜,ext2.2打造全新功能grid系列--右键菜单篇...
本文介绍如何在grid列表里在某行上面单击右键弹出菜单的功能先看看效果图: 如上图所示,具体菜单的功能没有去实现,这里和前几篇的后台都极为类似,有需要后台代码的朋友只需要浏览前几篇即可. 下面仅仅 ...
迁移学习篇之如何迁移经典CNN网络-附迁移学习Alexnet，VGG，Googlenet，Resnet详细代码注释和方法-pytorch
鸽了好久的迁移学习篇学习终于打算更新,这次我们来学习一个机器学习中经典常用的简单快速提高网络指标的trick,迁移学习,迁移学习本身是机器学习中的一个trick,但是近些年在深度学习中应用广泛.之前我 ...
计算机视觉系列（七）——迁移学习
系列文章 \text{\bf 系列文章} 系列文章计算机视觉系列(一)--CNN基础计算机视觉系列(二)--AlexNet 计算机视觉系列(三)--VGG与NiN 计算机视觉系列(四)--Goog ...
时间序列预测新范式——基于迁移学习的AdaRNN方法
本文转载自知乎王晋东不在家的<小王爱迁移>系列之十五:自动选择源域的迁移学习方法源地址为:<小王爱迁移>系列之32:时间序列预测新范式--基于迁移学习的AdaRNN方法 - ...
PyTorch系列 | 快速入门迁移学习
点击上方"算法猿的成长",选择"加为星标" 第一时间关注 AI 和 Python 知识图片来源:Pexels,作者:Arthur Ogleznev 2019 ...
基于MK-MMD度量迁移学习的轴承故障诊断方法研究
摘要上一篇文章实验是基于凯斯西厨大学轴承数据集,使用同一负载情况下的6种轴承数据进行故障诊断,并没有进行不同负载下轴承故障诊断.之前没做这块迁移学习实验,主要是对于迁移学习理解不到位,也没有不知道从 ...

迁移学习系列--方法篇

迁移学习系列--方法篇相关推荐

最新文章

热门文章