专访杨强：从 0 到 1，迁移学习如何登上今日高峰？

2020-07-22 20:20:39

作者 | 丛末

编辑 | 蒋宝尚

人工智能研究到最后，都会面临一个问题，那就是模型是否能扩展到其此前从未见过的领域，即像人一样拥有“举一反三”的能力，而这就是迁移学习有可能实现的。

——杨强

迁移学习，从最初一个默默无闻的人工智能分支，如今已成为AI 领域炙手可热的研究领域。

2019年底，世界公认的技术风向标Gartner 曲线曾将迁移学习列为新兴技术之一，这也预示着迁移学习的技术已经从学术研究正式步入了产业应用阶段。

但，站在2020年这个时间点，迁移学习研究/应用的未来在哪里？

这是一个问题。而最能够回答这个问题的，莫过于迁移学习的领军人物——香港科技大学教授、微众银行首席人工智能官杨强。

AI 科技评论就此采访了杨强教授，就迁移学习“从0到1”的历史发展、对于整个人工智能领域发展的意义以及未来走向做了详细探究，成就此文。

迁移学习，核心在于以“不变”应“万变”

迁移学习，放到日常语境中，我们其实并不陌生，“举一反三”、“照猫画虎”等成语都是它的近义词。

在机器学习中，迁移学习就是让机器将在已知情况中学到的知识和积累的经验，迁移到其他不同但相关的此前没有遇到过的情况中解决新的问题。

它的核心在于，找到两种情况之间的相似性，即不变量，以“不变”应“万变”。

以杨强教授最常用的一个例子来进一步说明，在中国大陆，驾驶员的座位在左边，靠马路右侧行驶，而在中国香港、英国等地区开车时，驾驶员的座位在右边，靠马路左侧行驶。快速在这两种驾驶方式中转变的诀窍，在于找到不变量，进而把旧的知识适配到新的环境，而这里不变量便是：无论在哪个国家和地区，驾驶员都靠马路中间开车。

发展至今，迁移学习现已形成了一个系统性的学科，各大流派互为表里，并行发展。

大体上，迁移学习的分类可以按照特征空间和/或标签空间是否同构、按目标域有无标签数据以及迁移学习采用的方法进行分类：

基于特征空间和/或标签空间是否同构，可将迁移学习分为同构迁移学习和异构迁移学习。
基于目标域中是否有标签数据，可将迁移学习分为有监督迁移学习、半监督迁移学习、无监督迁移学习。
基于迁移学习采用的方法，即“如何迁移”，可以将迁移学习分为：1）基于实例的算法，其中迁移的知识对应于源实例中的权重；２）基于特征的算法，其中迁移的知识对应于源域和目标域中特征所共享的子空间；３）基于模型的算法（基于参数的迁移学习），其中迁移的知识嵌入源域模型的一部分中；４）基于关系的算法,其中迁移的知识对应于源域中实体之间特定的规则。

由来已久的历史渊源及早期发展背景

早在2005年美国国防部高级研究计划局DARPA 正式提出“Transfer Learning”这一术语之前，迁移学习这一概念便以各种不同的名称出现在人工智能领域的各种探索中，包括类比学习、基于案例的推理、知识重用和重建、终身机器学习、永无止境的学习和领域自适应等等。

在人工智能以外，包括教育学、心理学、医学、哲学等多个学科，都以不同的形式研究迁移学习这一概念，其中以教育学为例，教育工作者研究有效学习和教学建模的一个重要课题便是学习的迁移（Transfer of Learning），即研究人如何让学生学会“如何学习”，并善于使用所学的知识来应对未来未知的情况。

当时，教育学、心理学等领域尚不知道有人工智能这个领域，而人工智能领域也不知道这些领域也在研究这个主题，各个学科之间平行地发展着迁移学习这一概念，直到多年以后才逐渐走到一个汇聚点上。杨强教授在九十年代就涉足的一个AI分支叫做“基于例证的推理”（case-based reasoning）, 其主旨就是通过对一个或少数案例的分析得出通用的知识，并适配到新的场景。这个技术在智能规划领域尤为有效，但其缺点是需要很多专家知识的输入。

据杨强教授回忆，在2000年初，迁移学习这一研究方向被提出时，机器学习领域的热门方向是核函数——因为当时有一个很火的概念叫做支持向量机（Support Vector Machines），大部分人工智能研究者都在做这个方向。

当时毅然决然选择这一研究方向的他们，在这一研究领域显得有点孤独。

这种孤独不仅体现在他们当时难以找到志同道合的研究者，也体现在他们需要为这个领域从头开始收集数据集。

当时迁移学习领域没有一个公认的数据集，杨强教授便带着学生们在学校用WI-FI 做实时定位收集数据集。Wi-Fi定位数据集为迁移学习提供了一个很好的实验场景，因为这些数据会随时间、空间以及环境的变化发生很大的变化，比如白天收集的收据，等到晚上再训练这些数据，这些数据便基本用不了了。这是因为数据在不同的时间、空间都会引起分布的变化。比如，当学生下课出教室时，就会给信号造成很大的干扰，之前训练出来的模型也需要迁移了才能用；又如，在三楼收集的数据，到五楼可能也不能用了，这是因为Wi-Fi信号在空间发生了变化。这些数据的收集非常缓慢，所以，为了保证这些数据的有效性，他们常常没日没夜地在教学楼里收集数据集。

最后，他们还用这个数据集在数据挖掘学术会议IEEE ICDM 2007上举办了首个挑战赛，该数据集也因此变成了世界公认的数据集。

而“Transfer Learning”的中文名“迁移学习”的正式诞生，则还要将时间线拉后到2007年。

2007年，杨强教授受CCF“龙星计划”邀请做了一场关于“迁移学习”的报告，当时“Transfer Learning”还没有统一的中文译名，他便在讲座上让大家进行了一次投票，虽然获得最高投票的并非“迁移学习”这一名词，但是经过他的多方考量，还是决定采用“迁移学习”的中文译名。

深度学习的兴起，给迁移学习带来了“春天”

时至今日，迁移学习在杨强教授等人的浇灌和培育下，已成为了一个系统性的学科以及人工智能领域炙手可热的研究方向之一。

而实际上，迁移学习能有如今的发展，离不开深度学习这“一把火”。

一方面，深度学习兴起以后，大家意识到有必要把深度学习模型适配到新的任务和场景中，尤其是在视觉领域，当时加州伯克利大学有一群学者提出做视觉领域的迁移学习，其中国内有一位来自清华的博士后龙明胜恰好就在伯克利访问，开始结合研究深度学习和迁移学习，引起了很多研究者的追随。比如自然语言处理领域，就出现一个迁移学习的新方向——深度迁移学习。

2009年，自然语言处理领域的国际学术顶会 ACL 请杨强教授去做了一个迁移学习的主题演讲，同一年，IJCAI也邀请杨强教授去做了迁移学习的特邀演讲。

迁移学习在各大学术会议上成为一大“重头戏”，也暗示着学术界各个领域的研究者在本领域把“金子”淘完以后，开始自然地往迁移学习这一研究方向靠拢。

另一方面，随着深度学习的瓶颈越来越明显，预训练成为领域的一大研究重点，而预训练和模型的自适应密切相关，比如2018年谷歌提出了BERT 模型——如果有足够大的源领域数据，就很容易迁移到其他任意的新领域，而且新的领域还不需要标注那么多数据。同一年Facebook 发现，迁移学习在视觉领域也能实现同样的效果。

由此一来，工业界也逐渐发现迁移学习是非常有应用前景的方向，即将技术变成一种技术的解决方案，从而自动延伸出一个商业模式，比如说一个云计算公司可以做出一个预训练模型，然后应用者就可以用这个现成的预训练模型做迁移，无论是商业模式还是收费模式都非常清楚。

现在，国内包括阿里、腾讯等云计算公司都在往这个方向探索。

人工智能通用化，迁移学习不可或缺

随着深度学习的发展日益进入白热化，局限性也日益暴露出来，不少研究者也发出“深度学习即将步入寒冬”的质疑，接下来人工智能该朝什么方向发展，也成为该领域研究者亟待思考的问题。

迁移学习，便是其中一个方向。

“人工智能研究到最后，都会面临一个问题，那就是模型是否能扩展到其此前从未见过的领域，即像人一样拥有‘举一反三’的能力，而这就是迁移学习有可能实现的。”

杨强教授提到，这便是他和他的学生们当初选定迁移学习并坚信这个方向一定会成功的原因。

总而言之，迁移学习对于机器学习技术未来的发展，确实不可或缺，具体而言主要存在以下几个必要性：

第一，人类智能的一项强大的特殊能力是能够从小数据中学习知识，以此利用和调整已有的“模型”，从而适配到新的场景，也就是所谓的迁移学习能力。例如，孩子可以仅从关于猫的很少的动画中学习到猫的概念,并能快速而有效地将例子归纳成知识，去认识真实的猫。人工智能也应该被赋予这样的迁移学习能力。

第二，当前机器学习的成功应用依赖于大量有标签数据的可用性，然而现实生活中往往缺少高质量、有标签的数据，如何让模型在小数据上也能起到作用，这是机器走向真正智能的必经之路。

第三，真正的智能系统不仅能够在某个特定领域起到作用，还能够将其能力泛化到其他领域中，这样的系统才是可靠、可信赖的，这就要求智能系统能够拥有举一反三、融会贯通的能力。

第四，随着智能的发展，个性化需求也会与日俱增，这就需要解决人如何把个人化的小数据加入到通用系统中，以应用到个人化的场景中，实现智能的个性化应用，而迁移学习将是其中一个必不可少的工具。

作为一种新的机器学习范式，迁移学习算法在AI 朝着可扩展性、可靠性、通用化发展的道路上，将能够承担起非常关键和重要的角色，尤其是在目前面临计算能力、数据和硬件等资源相对匮乏的现实条件下，迁移学习的作用不容忽视。

而现实应用方面，在包括但不限于计算机视觉、文本分类、行为识别、自然语言处理、室内定位、视频监控、舆情分析、人机交互等领域，迁移学习都起到了非常重要的作用。

早在2016年，杨强教授便指出，迁移学习会是深度学习后的下一个“热点”。

他的这一观点也得到了吴恩达等人的响应：在同年NIPS的一场Tutorial 上，吴恩达也表达了同样的观点：迁移学习将引领下一波机器学习技术。

如今，迁移学习的发展势头，也正在印证着他们在几年前的这一预测。

通用化和自动化，是迁移学习尚未解决的两大难题

每一个研究领域从萌芽到成熟，势必都会经历“过关斩将”的艰苦阶段。迁移学习一路走来，自然也不例外。

2000年前后，当时迁移学习是一个小众的研究方向，基本假设、测试标准、算法设计甚至名称也各家各异。这就导致不同的算法和系统无法在同一个数学框架下进行比较。

对此，杨强教授等人花了十几年的时间建立了迁移学习的统一数学框架，并且推动形成了大多数当前公认的迁移学习分类和比较测试的方法，从而让该领域的研究者有据可循，并提出大量的迁移学习算法。

这其中，杨强教授的研究团队包括了这部书的几个主要作者。其中，戴文渊（现为第四范式公司总裁）在访问香港科技大学杨强教授实验室时，就开始了迁移学习的研究历程，在此期间，设计出了“基于样本的迁移”算法TradaBoost，并于近期在港科大完成了迁移学习研究的博士学位，是谷歌学术搜索上迁移学习领域的最高引作者之一。潘嘉林（现为南洋理工大学副教授）在香港科技大学为博士生时因发明了“迁移因子分析”算法而名声在外，同时也是迁移学习方向的高引作者。张宇（现为南方科技大学副教授）是多任务学习的专家，他的一篇关于多任务学习的概述也得到了学术界很高的引用。他们的迁移学习的工作，从不同角度奠定了这个研究方向的理论和算法基础。

同时，杨强的另一位学生沈抖，现任百度集团执行副总裁并负责移动生态事业群组，也是迁移学习在搜索业务上的推动者，大力推动了从通用搜索领域到特殊搜索领域的知识迁移，填补了多项工业工程上的空白。

随着迁移学习的研究工作日益增多，一些具体的挑战也日益凸显出来。

其中一个难题便是迁移学习在数学上的一个根本问题：如何衡量两个领域不同数据集间的距离。而这个距离根本上是在衡量两个不同概率分布的距离，而不是简单的欧式距离。

针对这一问题，潘嘉林和杨强教授的研究团队提出了利用核函数空间的度量来加以解决。值得一提的是，这一解决方法也为后来很多更为先进的迁移学习算法提供了理论基础，比如说，深度学习根据这一思路，可以按照两个分布间的距离来决定在两个神经网络间如何迁移、迁移哪部分、迁移多少知识以及迁移的时间节奏等。这使得迁移学习从一个试探性的学科走向科学化，系统化。

另一个难题是“负迁移”问题，即在实时迁移学习时，实现的效果可能会受到源领域的错误影响而下降。随着近几年人工智能的发展，也为该问题的解决带来了方向。一般来说，当源领域的数据逐渐加多的时候，迁移学习在目标领域的效果会大幅增强，而这一增强也能够通过无监督或自监督学习的方法来实现，即不需要同时增加人工来处理数据，以此大幅减少“负迁移”问题。

然而，现在也还有一些研究者尚且无法找到突破点的挑战和问题，包括现在还没有一个通用的迁移学习算法能够指导输出一个自带迁移性能的模型；还无法做到自动化迁移学习，即每遇到一个新领域，如何选择源领域、迁移学习算法以及迁移策略等等，又会成为新一轮问题。

针对前者，杨强教授表示，这一难题的答案可能在于元学习，即在多个领域中学出一个通用的模型部分，使得它具有很强的迁移适配能力。值得一提的是，基于深度学习的、可迁移的元学习理论也是BENGIO（图灵奖者）当下最感兴趣的问题。随着相关研究的开展，找到解决方案或许也只是时间的问题了。

而后者的探索同样意义巨大，如果能够开发出一个自动化的迁移学习算法，将会大大减少对专家的依赖，对于实现人工智能的通用化也将有巨大的促进作用。戴文渊所领导的第四范式公司也在AutoML这一方向上持续领先，并会将其扩展到迁移学习的领域。

业已成熟化的迁移学习，还有哪些值得关注的研究趋势

随着迁移学习登上Gartner 曲线，标志着该研究由学术研究正式进入了产业应用。而就迁移学习本身的学术研究而言，下一步还有哪些有前景的研究方法，同样也备受关注。

就杨强教授等人看来，未来主要有以下五大研究趋势：

第一，现在迁移学习的衡量标准还需要在全球范围推广起来。过去，大家在衡量机器学习时还是简单使用准确性或错误率来衡量，然而传统机器学习算法的迁移能力普遍比较缺乏，所以在衡量标准上是否能以可靠性和鲁棒性这样的衡量标准来替代以前的标准呢？针对这一点，世界范围内还达到统一的共识，因而是可以努力的方向。

第二，需要找到一个像人的大脑一样的能够学习和迁移的通用模型。人类在学习一个新的技能时，往往能够无意识地想起以往的经验，看到一幅画能联想到一首诗，这些能力都是机器学习还不具备的，对此，现在有一个叫做终身学习的新研究领域，尝试利用迁移学习让模型不断学习、不断优化，这也是一个非常好的研究方向。

第三，如何把逻辑知识和统计知识完美地结合起来，也是未来值得关注的一个方向。因为人类的迁移能力不仅仅依赖统计知识，很大程度上也依赖逻辑知识，比如说一些定理规律是能够反过来增强迁移能力的，如果能实现逻辑知识和统计知识的有机结合，将会给迁移学习带来很大的进展。

第四，现在的深度学习模型的鲁棒性不高，样本稍作改变预测结果就有可能发生很大变化。构建于深度学习之上的迁移学习也有类似的问题，因而提高迁移学习的鲁棒性会是未来的一个研究方向。

第五，随着数据监管力度的加大，数据的隐私性也会是一个重要问题，其中对于金融、医疗等行业尤为重要。这一点对迁移学习本身也有很大影响，如何在保证数据隐私性的情况下利用迁移学习来提高性能很值得关注的。目前已经有一些工作来研究这一问题，例如联邦迁移学习，就是联邦学习和迁移学习的有效结合，其通过在数据各方传递模型参数来确保数据的隐私性。

【广而告知】

据了解，杨强教授领衔编著的全球首本迁移学习教材《Transfer Learning》已上市，而中文版也刚刚出版。这无疑是迁移学习领域标志性的事件。

注：封面图片《迁移时空之优山美地》: 出自潘军锋博士（Junfeng Pan）的人工智能画作，是基于宋代画家王希孟的唯一传世之作《千里江山图》，用迁移学习的“风格迁移”，到美国优山美地国家公园的照片而成。这幅画将中国画风格迁移到西方名胜景点，寓意中国元素走向全世界。

《迁移学习》这本书汇集了杨强、戴文渊、张宇、潘嘉林等近三十位研究者的心血，对迁移学习的基本原理、研究流派、方法、应用都做了全面而深入的诠释。

南京大学人工智能学院院长周志华、创新工场董事长兼CEO 李开复、中国工程院院士高文、加拿大院士邓力等人工智能顶级专家，都纷纷为这本教材打Call——

无论对于学术界的学生及入门研究者系统学习、深入理解迁移学习这门学科，还是对于工业界研究者应用迁移学习这一工具而言，这本教材都具有非常重要的参考价值。

文章最后，AI 科技评论也为大家附上以杨强教授位为首的近三十位研究者对《迁移学习》一书的期许：

希望通过这本书给读者们带来对迁移学习最新最全的介绍，给学生们带来对迁移学习的全方面了解，方便他们了解、学习以及使用迁移学习技术，从而可以启迪他们用迁移学习的方式来解决面临的学术或实际问题。也希望本书能方便研究者们全面了解迁移学习，以便启迪他们更好地研究迁移学习，以及应用迁移学习来解决更多的应用问题。

中国科学院计算技术研究所博士生王晋东也一直做迁移学习的探索，他在2018年还撰写过一份《迁移学习简明手册》，深入浅出地回顾了迁移学习的发展历史并介绍了当时迁移学习的最新进展，广受关注。本次，他也从学生的学习和入门的角度，分享了《迁移学习》教材出版的意义：

学生在学习过程中，最重要的是“理解”和“应用”。

首先是对知识的深入理解，这包括问题定义、研究动机、数学形式化、模型构建、实验验证等基本过程。杨强教授的《迁移学习》教材以严谨的学术语言和深入浅出的讲解模式，围绕迁移学习的基本问题、方法和研究方向娓娓道来，使得我们的学习过程有条不紊、目标明确。

然后是对知识的灵活应用。《迁移学习》除了包含大量的学术研究内容之外，也从推荐系统、行为识别、计算机视觉、自然语言处理等重要的AI应用方向，为迁移学习的实际应用指明了方向。

因此，从学生的角度，如果你立志追求更深层次的学术研究，那么《迁移学习》是你遇到问题和挑战时可以寻求帮助的对象；如果你期望能用自己所学知识来改变世界，那么《迁移学习》则可以在应用和落地方面，指导我们如何应用迁移学习技术来解决实际问题。

参考资料：

1、《Transfer Learning》， Qiang Yang , Yu Zhang ， Wenyuan Dai ， Sinno Jialin Pan ，Cambridge University Press

2、《A Survey on Transfer Learning》，Sinno Jialin Pan，Qiang Yang，https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf

3、《迁移学习简明手册》，王晋东，http://jd92.wang/assets/files/transfer_learning_tutorial_wjd.pdf

专访杨强：从 0 到 1，迁移学习如何登上今日高峰？相关推荐

7月7日云栖精选夜读：专访 | 杨强教授谈CCAI、深度学习泡沫与人工智能入门
摘要: 中国人工智能学会.阿里巴巴集团 & 蚂蚁金服主办,CSDN.中国科学院自动化研究所承办,云栖社区作为独家直播合作伙伴的第三届中国人工智能大会(CCAI 2017)将在杭州国际会议中心盛 ...
专访 | 杨强教授谈CCAI、深度学习泡沫与人工智能入门
文 | 胡永波 7 月 22 - 23 日,由中国人工智能学会.阿里巴巴集团 & 蚂蚁金服主办,CSDN.中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 2017)将在杭州国际会 ...
如何用最强模型BERT做NLP迁移学习？
作者 | 台湾大学网红教授李宏毅的三名爱徒来源 | 井森堡,不定期更新机器学习技术文并附上质量佳且可读性高的代码. 编辑 | Jane 谷歌此前发布的NLP模型BERT,在知乎.Reddit上都引起 ...
bert 中文代码谷歌_如何用最强模型BERT做NLP迁移学习？
作者 | 台湾大学网红教授李宏毅的三名爱徒来源 | 井森堡,不定期更新机器学习技术文并附上质量佳且可读性高的代码. 编辑 | Jane 谷歌此前发布的NLP模型BERT,在知乎.Reddit上都引起 ...
杨强教授：《可信联邦学习与开源生态》主题演讲视频
题图摄于天安门广场 9月26日,由 LF AI & DATA 基金会主办的AICON 2022在杭州成功举办!来自全球的人工智能领域顶尖科学家.行业专家及著名企业家齐聚一堂,分享全球人工智能行 ...
PyTorch迁移学习-私人数据集上的蚂蚁蜜蜂分类
1. 迁移学习的两个主要场景微调CNN:使用预训练的网络来初始化自己的网络,而不是随机初始化,然后训练即可将CNN看成固定的特征提取器:固定前面的层,重写最后的全连接层,只有这个新的层会被训练下 ...
杨强教授领衔力作，《迁移学习》最新出炉，解决AI“最后一公里”问题 | 赠书...
本文内容节选自<迁移学习>一书.由杨强教授领衔撰写. 迁移学习解决的是系统如何快速地适应新场景.新任务和新环境的问题,在目标域中只有少量标记数据可用时,它赋予了机器学习系统利用辅助数据和模 ...
机器学习的明天——迁移学习
机器学习的明天--迁移学习上个月,柯洁大战AlphaGo落下帷幕,19岁的男孩少有地在比赛中落泪,赛后他为我们留下一句话,柯洁说"AlphaGo"看上去像神一样的存在,好像他是无 ...
乘风破浪的迁移学习！四字成语讲明白这个大热研究方向
导读:现在迁移学习大热,它红,是有它的道理的.什么是迁移学习?本文用最通俗易懂的语言为你讲解. 作者:木羊同学来源:大数据DT(ID:hzdashuju) 迁移学习现在是很热的一个前沿研究方向. 当 ...

专访杨强：从 0 到 1，迁移学习如何登上今日高峰？

专访杨强：从 0 到 1，迁移学习如何登上今日高峰？相关推荐

最新文章

热门文章