近年来，基于Transformer的一系列大规模预训练模型不断推进NLP领域前沿，也持续冲击着大众和研究者关于NLP任务的认知。GPT-3在多项任务上取得的泛用能力似乎使人们看到了实现通用人工智能的曙光，但一些基本的问题也仍然阻碍着学者们进一步的工作。

预训练模型成功的原因究竟在何处？规模化和计算力驱动的NLP是否会迎来新的产业化浪潮？又是否会形成新的巨头垄断？这会对NLP从业者或研究者们产生什么影响？

整理：周寅张皓

校对：贾       伟

11月26日，在【青源Talk】第二期上，XLNet 发明者、循环智能（Recurrent AI）联合创始人，智源青年科学家杨植麟博士分别从“NLP的state-of-the-art技术”、“NLP的落地场景”、“NLP产业化尚未解决的问题”、“从学习的角度看NLP的现在与未来”等四个方面，对以上问题做了回答。

杨植麟认为，以GPT-3为代表的各种预训练模型带来了 NLP 七十年历史上最激动人心的时刻，当下正是NLP蓬勃发展的时期，未来将有更多应用会大规模落地。因此工业界对NLP研究者的需求将会持续增长。

“先把蛋糕做大！”杨植麟说，大规模应用落地前，做大行业规模，将为每个NLP从业人员提供更多机会。

点击“阅读原文”，可观看视频，或下载PPT。

1

NLP技术的 State Of The Art

State of the Art 简称 SATO，指同期达到最优结果的技术方法。2017年以来，NLP领域的各项任务的SOTA结果纷纷被Transformer+预训练机制的模型攻占。报告中，杨植麟通过分析近年来语言模型的变化，总结了当前NLP领域主流最优的技术体系，分为以下四点：

1、预训练（Pretrain）大模型；

2、让大模型在特定任务上进行小样本学习（Few-shot Learning）或半监督学习（Semi-supervised Learning）；

3、使用大模型在对应任务的大量数据进行预测；

4、使用预测结果蒸馏得到小模型

这些方法在尝试同时将数据效率和模型效率做到极限，目前 CV 领域也正形成类似的技术收敛现象，例如SimCLR v2。

但同时，杨植麟指出，这套方法仍然依赖于结构化的数据，当缺少标注数据与明显的类别划分时，第二步精调工作便很难完成。如何解决对结构化数据的依赖，是当下 NLP 前沿的重要开放性问题。

2

NLP的落地场景

大规模模型的预训练方法究竟带给我们什么？杨植麟博士从产业界的实际应用给予了我们答案。

杨植麟表示，未来几年将是NLP领域成果大规模落地的时代，产业界、学术界、包括传统行业将越来越多的应用NLP技术。杨植麟用循环智能（Recurrent AI）公司承担的应用任务举例介绍了当下NLP的应用现状：

1、AI赋能线索分配

利用已有的与用户交互的数据，使用NLP技术实现AI辅助的智能获客与高意向为成交客户单的发现，降低企业的获客成本。

2、沟通数据标签化及话术挖掘

使用销售部门存在的大量与客户交互的文本语音等数据，通过成交记录训练出标准化销售流程，使用最高成功率的话术来提高销售额，并可以在实践中得到反馈，进一步更新策略，为管理团队提供支持。杨植麟采用了XLNET等技术，实现了商业化的NLP模型快速部署。

3、人机耦合

杨植麟实际工作中发现，NLP更多的价值在于赋能实际的从业者。

例如销售过程这样的高社交环境中，人具有无可替代的情感价值。但AI通过分析发掘话术，可以提高人的工作效率。同时，实际销售工作中产生的数据可以进一步调整模型，通过业务反馈实现行业内模型自训练的闭环。

此外，通过AI的支持，还可以帮助解决销售人员流动性大，新人缺乏销售经验，难以有效进行价值传递的问题，使得新人业绩得到有效提高。

杨植麟作为循环智能（Recurrent AI）的联合创始人，致力于推动NLP技术在应用场景的部署，公司通过NLP技术赋能销售领域，为销售人员与企业提供了支持。NLP的落地应用会对行业工作人员的工作效率优极大的极高，降低了公司的边际成本，并与从业者相互促进。因此NLP的落地应用对行业产生更多积极的作用，未来我们将迎来NLP技术产业化的浪潮。

然而，仍然存在应用NLP的边际成本高、应用存在场景碎片化、任务难定义、行业标注数据集的缺乏与数据不准确等问题。且当前应用局限于完成数据结构化的子任务，仍未能承担更复杂的工作。杨植麟期待未来能够在结构化的数据基础上，完成端到端的复杂任务，例如目标导向的认知推理，阅读产品文档，外呼任务等。

3

从学习的角度看NLP的现在和未来

杨植麟认为，Transformer+Pretraining的模式表现优异的原因在于规模和泛化能力，超大规模的参数使模型能从具备优秀的表达能力，从巨大的表达空间中优化到较好的解。而预训练方法使模型学到的解具有一定的泛化能力。

因此，不断推进的模型规模会对越来越依赖于超大算力的支持，在未来会形成以超大规模算力支持的复杂算法系统，这一阶段会有越来越多的组织，机构参与推动，从一个团队变成规模化的组织。同时，为了发展算力，计算机的底层结构也会发生改变。

杨植麟认为，未来学术界的实验室将会越来越多的与工业界的算力平台合作，探索潜在的问题。他了提出“数据驱动+计算流”的发展模式，在现在的时代背景下，“做大蛋糕”，我们将迎来一个NLP落地蓬勃发展的时期。

点击左下角“阅读原文”，下载 PPT！