本文内容节选自《迁移学习》一书。由杨强教授领衔撰写。

迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题，在目标域中只有少量标记数据可用时，它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮，并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面，迁移学习允许知识的重复利用，使得每次获得的经验可以重复地应用于现实世界。

本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结，相关领域研究的系统性参考。

想要了解关于迁移学习的更多干货知识，关注CSDN并评论分享你对本文的学习心得或迁移学习的见解，我们将从中选出5条优质评论，各送出《迁移学习》一本。活动截止时间为8月30日晚8点。

图像理解

从目标识别到行为识别的很多图像理解任务已经运用了迁移学习。通常，这些计算机视觉任务需要大量有标签数据来训练模型，例如使用众所周知的 ImageNet 数据集。然而，当计算机视觉的情景稍有变化（例如从室内到室外、从静止摄像机变为移动摄像机）时，需要调整模型以适应新情况。迁移学习是解决这些适应问题的常用技术。

在图像分析领域，许多最近的方法将深度学习架构和迁移学习相结合。例如，Long 等人（2015）利用深度学习框架将源域和目标域之间的距离最小化。在 Facebook 上发表的一篇文章中，Mahajan 等人（2018）将迁移学习应用到图像分类中。该方法首先在非常大的图像数据集上训练深度学习模型，然后在目标域的特定任务中利用相对少量的有标签数据对预先训练的模型进行调整。该模型是一个为基于数十亿社交媒体图片主题标签的分类任务而训练的深度卷积网络，目标任务是目标识别或图像分类。

他们的分析表明，增加预训练数据集的大小以及在源任务和目标任务之间选择密切相关的标签空间都很重要。这一观察结果说明，迁移学习需要设计“标签空间工程”方法以匹配源和目标的学习任务。他们的工作还表明，可以通过提高源模型的复杂度和增加数据集大小获得对目标任务的改进。

迁移学习还使得图像分析在具有巨大社会影响的应用中发挥重要作用。在 Xie 等人（2016）的研究中，斯坦福大学地球科学的学者基于卫星图像, 利用迁移学习来预测全球贫困水平。首先，他们使用白天的图像预测夜间光照图像，然后将所得模型迁移到预测贫困的问题上。与传统的基于调查的方法相比，该方法得到了非常准确的预测结果并且只需要很少的人工标注工作。

生物信息学和生物成像

在生物学中，许多实验成本高昂且数据很少。例如，医生尝试使用计算机发现潜在疾病时的生物成像，以及使用软件模型扫描复杂的 DNA 和蛋白质序列以寻找特定疾病以及治愈的模式。迁移学习越来越多地被用于帮助将知识从一个领域迁移到另一个领域来解决生物学中有标签数据获取成本高昂的难题。

例如，Xu 和 Yang（2011）对在生物信息学应用中利用迁移学习和多任务学习进行了早期调研。Xu 等人（2011）提出了一种迁移学习过程以识别在有标签数据极少的目标域中的蛋白质细胞结构。在生物医学图像分析中，一个难题是收集足够的训练数据来训练模型以识别诸如癌症等指定疾病的图像模式。这种识别需要大量的训练数据。然而，这些数据通常因为需要专家进行标注而十分昂贵。

此外，预训练模型和未来模型的数据通常来自不同的分布。这些问题激发了许多应用迁移学习来使预训练模型适应新任务的研究工作。例如，在 Shin 等人（2016）的研究中，基于 ImageNet 数据的预训练模型被用作源域模型，然后被迁移到医学成像领域中用于胸腹淋巴结检测和间质性肺病分类，该研究取得了巨大的成功。

推荐系统和协同过滤

通常情况下，由于冷启动问题，在线产品推荐系统难以建立。如果我们能发现域之间的相似性并将推荐模型从一个成熟域适应到新域，那么就可以缓和冷启动问题。这通常可以节省成功完成一个原本不可能的任务所耗费的时间和资源。

例如，Li 等人（2009b）和 Pan 等人（2010b）开创性地将迁移学习应用到了在线推荐领域。在他们的应用中，跨域推荐系统将用户偏好模型从现有域（如图书推荐领域）迁移到一个新域（如电影推荐领域）中。该场景对应于在线商务站点开放新业务线时希望在新业务线中快速部署推荐模型的商业案例。

在这样做时，必须克服新业务线中缺少交易数据的问题。另一项工作是整合强化学习（reinforcement learning）和推荐系统，从而使依据用户历史记录和潜在的兴趣多样性推荐的项目是准确的。例如，Liu 等人（2018）提出了一种在推荐准确度和主体多样性中达到平衡的 bandit 算法，以允许系统挖掘新主题以及迎合用户最近的选择。关于迁移学习，该工作表明平衡探索和利用的推荐策略确实可以在域之间进行迁移。

机器人和汽车自动驾驶

在设计机器人和汽车自动驾驶时，从模拟场景中学习是一种特别有用的方法。在硬件交互部分，收集用于训练强化学习和监督学习模型的有标签数据是十分昂贵的。正如 Taylor 和 Stone(2007) 所描述的，迁移学习能够帮助研究人员在一个或多或少理想的域（源域）中构建模型，然后在目标域中学习处理预期事件的策略。

目标域模型可以处理更多现实世界中的情况，以进一步处理更多未预料到的噪声数据。当模型很好地适应后，可以在重新训练目标域模型的过程中节省大量劳动力和资源。Tai 等人（2017）设计了基于 10 维稀疏范围发现的无地图支持运动规划器，并通过端到端的深度强化学习算法对其进行了训练，然后通过真实样本将学习好的规划器泛化迁移到了现实场景中。

自然语言处理和文本挖掘

文本挖掘是迁移学习算法的一个很好的应用场景。文本挖掘旨在从文本中发现有用的结构性知识并将其应用于其他领域中。在文本挖掘的所有问题中，文本分类旨在用不同的类标签标记新的文本文档。一个典型的文本分类问题是情感分类。

在线论坛、博客、社交网络等在线网站上有大量用户生成的内容，能够总结消费者对产品和服务的看法非常重要。情感分类能够通过将评论分为正面和负面两个类别来解决这个问题。

但是，在不同的域中，例如不同类型的产品、不同类型的在线网站、不同的行业，用户可能使用不同的词语表达他们具有相同情感的观点。因此，在一个域上训练的情感分类器可能在其他域上表现不佳。在这种情况下，迁移学习可以帮助调整已训练完成的情感分类器以适应不同的领域。

近期，对预训练的研究获得了迁移学习本质的新见解。Devlin 等人（2018）发现了迁移学习应用成功的一个条件：拥有足够数量的源域训练数据。例如，谷歌的自然语言处理系统 BERT（Bidirectional Encoder Representations from Transformers，Transformer 的双向编码器表示）（Devlin 等人，2018）将迁移学习应用于许多 NLP 任务中，证明使用强大的预训练模型可以解决许多传统自然语言处理领域的棘手问题（如问答系统）。

在公开的 SQuAD 2.0 竞赛中，BERT 在许多任务中取得了令人惊讶的领先结果（Rajpurkar 等人，2016）。其源域由非常庞大的自然语言文本语料库组成，BERT 使用该语料库训练基于注意力机制的双向 Transformer 模型。预训练模型能够使语言模型中的各种预测比以前更准确，并且其预测能力随着源域中训练数据量的增加而增加。

然后，通过在诸如下一句子分类、问答和命名实体识别（Named Entity Recognition，NER）中向源模型添加额外的较小的层，便可以将 BERT 模型应用于目标域中的特定任务。这种迁移学习方法属于基于模型的迁移，其中大多数超参数保持相同，但是会选择几个超参数通过目标域中的新数据进行调整。

赠书活动

想要了解关于迁移学习的更多干货知识，关注CSDN并在评论区分享你对本文的学习心得或迁移学习的见解，我们将从中选出5条优质评论，各送出《迁移学习》一本，截至8月31日12点，点击阅读原文获取本书详情。

更多精彩推荐
☞Kubernetes 并非灵丹妙药...
☞“云”话数字经济：2020 腾讯全球数字生态大会定档 9 月！
☞蚂蚁上市分给员工 7000 亿股权，曾有人 28 岁财务自由，这次又将产生多少千万富翁？
☞MIT 更新最大自然灾害图像数据集，囊括 19 种灾害事件
☞闲鱼的云原生故事：靠什么支撑起万亿的交易规模？
☞云交易所已成资金盘、杀猪盘重灾区，曾被寄予厚望，如今罪恶丛生
点分享点点赞点在看