1.前言

在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。然而在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题。这种技术也叫做迁移学习（Transfer Learning）。

Qiang Yang、Sinno Jialin Pan，“A Survey on Transfer Learning”，IEEE Transactions on Knowledge & Data Engineering，vol. 22, no. , pp. 1345–1359, October 2010, doi:10.1109/TKDE.2009.191

2.区分监督学习、半监督学习、迁移学习、自我学习

举一个经典的例子，分离大象和犀牛。

对于监督学习，我们手头有大量大象的样本和犀牛的样本，接下来训练分类器，进行分类，大家都知道的。

对于迁移学习，则是指我们手头上有大量羊的样本和马的样本（已标记），少量的大象和犀牛的样本，接下来就要从羊和马的样本中选出有效的样本分别加入到大象和犀牛的标记样本中，然后再用监督学习的方法训练分类器。

对于半监督学习，则是手上仅有少量大象和犀牛的已标记样本，另外有一堆大象和犀牛没有标记的数据（注意它们中要么是大象要么是犀牛，没有其他物种）。半监督学习就是利用这些样本训练分类器，实现分类。

对于自我学习，同样是手上仅有少量大象和犀牛的已标记样本，另外有一大堆自然图像。所谓自然图像，就是有大象和犀牛的图片，还有各种其他物种的图片。自我学习比半监督学习更适合实际场景-----哪有一堆只有大象和犀牛的图片给你呢？而自然图像的来源更加广泛，可以从互联网上随便下载。

3.迁移学习

借助迁移学习技术，我们可以直接使用预训练过的模型，这种模型已经通过大量容易获得的数据集进行过训练（虽然是针对完全不同的任务进行训练的，但输入的内容完全相同，只不过输出的结果不同）。

随后从中找出输出结果可重用的层。我们可以使用这些层的输出结果充当输入，进而训练出一个所需参数的数量更少，规模也更小的网络。这个小规模网络只需要了解特定问题的内部关系，同时已经通过预培训模型学习过数据中蕴含的模式。通过这种方式，即可将经过训练检测猫咪的模型重新用于再现梵高的画作。

迁移学习技术的另一个重大收益在于可以对模型进行完善的“通用化”。大型模型往往会与数据过度拟合（Overfit），例如建模所用数据量远远超过隐含的现象数量，在处理未曾见过的数据时效果可能不如测试时那么好。由于迁移学习可以让模型看到不同类型的数据，因此可以习得更出色的底层规则。

4.迁移学习的真实案例

4.1图像识别

4.2对象检测

4.3文字识别

迁移学习实现过程中的难点:

虽然可以用更少量的数据训练模型，但该技术的运用有着更高的技能要求。只需要看看上述例子中硬编码参数的数量，并设想一下要在模型训练完成前不断调整这些参数，迁移学习技术使用的难度之大可想而知。
迁移学习技术目前面临的问题包括：

找到预训练所需的大规模数据集

决定用来预训练的模型

两种模型中任何一种无法按照预期工作都将比较难以调试

不确定为了训练模型还需要额外准备多少数据

使用预训练模型时难以决定在哪里停止

在预训练模型的基础上，确定模型所需层和参数的数量

托管并提供组合后的模型

当出现更多数据或更好的技术后，对预训练模型进行更新

新兴机器学习算法：迁移学习相关推荐

基于特征的对抗迁移学习论文_lt;EYD与机器学习gt;迁移学习：PTL选择式对抗网络...
各位知乎儿大家好,这是<EYD与机器学习>专栏迁移学习系列文章的第四篇文章,在上次的文章中我们介绍了一个迁移学习与对抗网络结合的算法框架(笨笨:<EYD与机器学习>迁移学习:D ...
新兴机器学习算法：在线学习
1.前言前面介绍的是对于所有训练样本{(xi,yi)}i=1->n同时进行学习的回归.分类算法.一般来说,在训练样本不同时给定的情况下,比起将所有的训练样本集中起来同时进行学习,把训练样本逐个 ...
机器学习没有捷径，根据机器学习算法地图学习是最有效的一种方式！
<机器学习与应用>由清华大学出版社出版,是机器学习和深度学习领域又一高质量的入门与提高教材.该书系统.深入地讲述了机器学习与深度学习的主要方法与理论,并紧密结合工程实践与应用. https ...
h2o机器学习算法框架学习总结
H2O 官网:http://www.h2o.ai/ H2o开源的机器学习框架,支持glm,rf,gbm,深度学习等算法,借助hadoop spark计算平台,实现large scale 机器学习 H2 ...
GitHub上AI岗位面试笔记（机器学习算法/深度学习/ NLP/计算机视觉）
目录机器学习深度学习自然语言处理与数学算法题和笔试题推荐阅读工具最近在GitHub上淘到一个很棒的AI算法面试笔记,特地分享给小伙伴们~ GitHub地址:https://github. ...
机器学习(十一) 迁移学习
目录前言 1 原理 2 实例 2.1 特征提取 2.2 微调前言迁移学习在计算机视觉任务和自然语言处理任务中经常使用,这些模型往往需要大数据.复杂的网络结构.如果使用迁移学习,可将预训练的模 ...
新兴机器学习算法：从无监督降维到监督降维
1.前言机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中.降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表 ...
机器学习算法——集成学习1（个体与集成）
集成学习(Ensemble Learning)通过构建并结合多个学习器来完成学习任务. 上图为集成学习的一般结构:先产生一组"个体学习器",再用某种策略将它们结合起来. 个体学习器 ...
机器学习算法——强化学习
2016 年 3 月,谷歌公司 DeepMind 团队的 AlphaGo 以 4 比 1 战胜第 18 届世界围棋冠军李世石,这是一场具有历史意义的比赛. 图 1 围棋落子位置种类让电脑学会下围棋是 ...

新兴机器学习算法：迁移学习

1.前言

2.区分监督学习、半监督学习、迁移学习、自我学习

3.迁移学习

4.迁移学习的真实案例

4.1图像识别

4.2对象检测

4.3文字识别

新兴机器学习算法：迁移学习相关推荐

最新文章

热门文章