迁移学习基础知识整理

基本概念

迁移学习研究如何把源域的知识迁移到目标域上。

相似性是核心，度量准则是重要手段。
领域（Domain，DDD）：学习的主体，分为源域 和 目标域
- 源域（source domain）：已有的知识
- 目标域（target domain）：要学习的新知识
任务（Task）：学习目标，标签 和 标签对应的函数 组成
邻域自适应（Domain Adaptation）：利用有标记的数据 DsD_sDs 去学习一个分类器 f:xT↦ytf:x_T\mapsto y_tf:xT↦yt 来预测目标域 DtD_tDt 的标签 $y\in Y_t $
负迁移：如果源域和目标域之间相似度不够，迁移结果并不会理想
常用符号

迁移学习的价值

复用现有知识域数据，已有的大量工作不至于完全丢弃；
不需要再去花费巨大代价去重新采集和标定庞大的新数据集，也有可能数据根本无法获取；
对于快速出现的新领域，能够快速迁移和应用，体现时效性优势。

与传统机器学习的对比

传统机器学习：
- 在应对数据的分布、维度，以及模型的输出变化等任务时，模型不够灵活、结果不够好
- 传统机器学习对不同的学习任务建立不同的模型
迁移学习：放松了这些假设。
- 在数据分布、特征维度以及模型输出变化条件下，有机地利用源域中的知识来对目标域更好地建模。
- 在有标定数据缺乏的情况下，迁移学习可以很好地利用相关领域有标定的数据完成数据的标定。
- 迁移学习利用源域中的数据将知识迁移到目标域，完成模型建立

迁移学习分类

分类准则：有无标签、学习方法、特征、离线 or 在线

按目标域
- 监督
- 半监督
- 无监督
按照学习方式分类：
- 基于样本（实例） 的迁移：直接对不同的样本赋予不同权重
- 基于特征的迁移：通过将源域和目标域映射到相同的空间，或者将其中之一映射到另一个的空间中，并最小化源域和目标域的距离来完成知识迁移
- 基于关系的迁移：通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。神经网络中用的多（比如 fine tune）。
- 基于模型的迁移：将源域和目标域的模型与样本结合起来调整模型的参数

按照特征分：
- 同构：特征语义和维度相同是同构（图片到图片）
- 异构：完全不同（图片到文本）

迁移学习解决的方法

大数据与少标注：迁移数据标注

利用迁移学习的思想，寻找一些与目标数据相近的有标注的数据，从而利用这些数据来构建模型，增加我们目标数据的标注。
大数据与弱计算：模型迁移

将那些大公司在大数据上训练好的模型，迁移到我们的任务中。针对于我们的任务进行微调，从而我们也可以拥有在大数据上训练好的模型。

将这些模型针对我们的任务进行自适应更新，从而取得更好的效果。
普适化模型与个性化需求：自适应学习

进行自适应的学习。考虑到不同用户之间的相似性和差异性，对普适化模型进行灵活的调整。
特定应用的需求：

相似领域知识迁移为了满足特定领域应用的需求，我们可以利用上述介绍过的手段，从数据和模型方法上进行迁移学习。

应用

计算机视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等

不同视角、背景、光照的图像识别
不同语言之间的翻译
不同领域和背景的文本翻译、舆情分析
不同用户、设备、位置的行为识别
不同用户、接口、情境的人机交互
不同场景、设备、时间的室内定位

未完待续

迁移学习基础知识整理相关推荐

迁移学习基础知识（一）——分类及应用
适合入门:机器学习的明天--迁移学习一.迁移学习分类: 按照目标域有无标签,迁移学习可以分为监督迁移学习,半监督迁移学习,无监督迁移学习: 按照学习方法分类,迁移学习可以分为基于样本的迁移学习方法( ...
深度学习基础知识整理
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/kwame211/article/details/81165381 本文是在七月的BAT机器学习面试1 ...
mysql数据库学习基础知识整理
主要摘自咕咕评测机:https://blog.csdn.net/doublekillyeye 一.mysql数据库引擎: 总结:innoDB和myisam主要区别 1.myisam不支持事务,inno ...
小学生学c语言基础知识,小学数学1-6年级基础知识整理，孩子学习用得上
小学数学1-6年级基础知识整理,孩子学习用得上作者:网编整理丨来源:网络丨发布时间:2020-04-16 14:35丨分享 (一到六年级) 小学一年级初步认识加减法.学会基础加减. 小学二 ...
Kali Linux渗透基础知识整理（四）：维持访问
Kali Linux渗透基础知识整理系列文章回顾维持访问在获得了目标系统的访问权之后,攻击者需要进一步维持这一访问权限.使用木马程序.后门程序和rootkit来达到这一目的.维持访问是一种艺术形式 ...
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、（广义）初等变换、满秩分解
矩阵论专栏:专栏(文章按照顺序排序) 线性代数是矩阵论的先修课程,本篇博客整理线性代数的基础理论知识,为矩阵论的学习做准备.限于篇幅,梳理的重点将在定理和结论上(只给出部分必要的定义),对最基础的概念 ...
深度强化学习基础知识思维导图
学习了王树森老师的深度强化学习入门课件,将各个算法整理在如下思维导图中. 深度强化学习基础知识思维导图
电学基础知识整理（一）
电学基础知识整理(一) 电荷及其守恒定律电荷电荷量库伦定律电场电场概念电场强度电场线电势能与电势静电场做功势能与做功的关系电势能(E~p~) 电势(φ) 等势面电势差(电压) ...
计算机基础知识整理世上最全,计算机基础知识整理[世上最全]
010在线为您甄选多篇描写计算机基础知识整理[世上最全],计算机基础知识整理[世上最全]精选,计算机基础知识整理[世上最全]大全,有议论,叙事 ,想象等形式.文章字数有400字.600字.800字.. ...

迁移学习基础知识整理

目录

基本概念

迁移学习的价值

与传统机器学习的对比

迁移学习分类

迁移学习解决的方法

应用

迁移学习基础知识整理相关推荐

最新文章

热门文章