导语：2021年见证了机器学习和自然语言处理领域许多振奋人心的进展。DeepMind科学家Sebastian Ruder近期撰文介绍了过去一年中最具有启发意义的论文和研究领域，要点如下：

• Universal Models 通用模型

• Massive Multi-task Learning 大规模多任务学习

• Beyond the Transformer 超越Transformer的方法

• Prompting 提示

• Efficient Methods 高效方法

• Benchmarking 基准测试

• Conditional Image Generation 条件性图像生成

• ML for Science 用于科学的机器学习

• Program Synthesis 程序合成

• Bias 偏见

• Retrieval Augmentation 检索增强

• Token-free Models 无Token模型

• Temporal Adaptation 时序自适应

• The Importance of Data 数据的重要性

• Meta-learning 元学习

作者：Sebastian Ruder

编译：牛梦琳、李梦佳

Sebastian Ruder是伦敦DeepMind的一名研究科学家。在Insight数据分析研究中心完成了自然语言处理和深度学习的博士学位，同时在柏林的文本分析初创公司AYLIEN担任研究科学家。

01

通用模型

使用XLS-R对语音进行自监督的跨语言表征学习。该模型采用自监督的 wav2vec 2.0式损失，在不同的多语言语音数据上进行预训练。经过训练的模型可以针对不同的语音任务进行微调(Babu et al. ，2021)。

进展：2021年，预训练模型的发展迎来爆发。预训练模型被应用于许多不同的领域，并开始被认为是机器学习研究的关键 [1].。在计算机视觉方面，有监督的预训练模型，比如Vision Transformer[2]已经扩大规模[3]，而自监督的预训练模型在表现上已经可以与前者匹敌[4]。后者已经超越了 ImageNet 的受控环境，扩展为随机的图像集合[5]。

在语音方面，已经出现了基于 wav2vec 2.0[6]建立的新模型，如 W2v-BERT [7]，以及更强大的多语言模型，比如 XLS-R [8]。

与此同时，我们发现了新的统一的预训练模型，用于以前研究不足的模态对，如视频和语言[9]，语音和语言。在视觉和语言方面，对照研究揭示了这种多模态模型的重要组成部分[11][12]。通过在语言建模范式中设定不同的任务，模型在其他领域也取得了巨大的成功，例如强化学习[13]和蛋白质结构预测[14]。鉴于观察到的许多这些模型的缩放行为，在不同参数大小下报告性能已经成为常见的做法。然而，训练前性能的提高并不一定转化为下游的设置[15][16]。

重要性：预训练模型已被证明可以很好地推广到给定领域或模式的新任务。他们表现了强大的少数学习行为和学习能力。因此，它们是研究进展和新的实际应用的宝贵组成部分。

预测：毫无疑问的是，未来我们将看到更多、更大规模的预训练模型被开发出来。与此同时，我们也应该期望单个模型能同时执行更多的任务。实际上，在语言处理中，模型已经可以通过将它们框定在同一个通用的文本到文本的格式中的方式，来执行多个任务。同样地，图像和语音模型也可能在同一模型中执行多个共同任务。最终，我们希望能看到更多为多模态训练的模型。

02

大规模多任务学习

用 ExT5实现大规模多任务学习。在预训练期间，该模型以文本到文本的形式对一组不同任务的输入(左)进行训练，以产生相应的输出(右)。这些任务包括掩蔽语言建模、摘要、语义分析、闭卷问答、风格转换、对话建模、自然语言推理、 Winograd-schema风格的核心参考解析（从上到下）等(Aribandi et al., 2021)。

进展：上一节中大多数预训练模型都是自监督的。他们一般通过一个不需要明确监督的目标从大量无标签的数据中学习。然而，在许多领域中已经有了大量的标记数据，这些数据可以用来学习更好的表征。到目前为止，诸如T0[17]、FLAN[18]和ExT5[19]等多任务模型，已经在大约100个主要针对语言的任务上进行了预训练。这种大规模的多任务学习与元学习密切相关。如果能够接触到不同的任务分配，模型就可以学习不同类型的行为，比如如何进行语境学习。

重要性：最近的许多模型，如 T5和 GPT-3，都使用了文本到文本的格式，这使得大规模的多任务学习成为可能。因此，模型不再需要手工设计特定任务的损失函数或特定任务层，从而有效地进行跨任务学习。这种最新的方法强调了将自监督的预训练与有监督的多任务学习相结合的好处，并证明了两者的结合会得到更加通用的模型。

预测：鉴于数据集具有统一格式的可用性和开源性，我们可以设想一种良性循环，即创建的高质量数据集，用于为日益多样化的任务集上训练更强大的模型，然后可以在循环中使用这些模型来创建更具挑战性的数据集。

03

Beyond the Transformer

The Perceiver（感知器）通过交叉注意，将高维输入字节数组投射到一个固定维度的潜在数组中，并通过变压器自注意块对其进行处理。交叉注意和自注意块将被交替应用(Jaegle et al. ，2021)。

进展：前面几节中讨论的大多数预先训练的模型都建立在变压器体系结构上[22]。2021年，替代模型架构迅速发展，这些架构成为了变压器的可行替代品。“感知器”[23]是一种类似变压器的架构，使用一个固定维度的潜在数组作为其基本表示，并通过交叉注意对输入进行调节，从而扩展到非常高维的输入。

“感知器” IO [24]扩展该架构，以处理结构化的输出空间。其他模型试图取代普遍存在的自注意层，最著名的是使用多层感知器(MLPs) ，如 MLP-混频器[25]和 gMLP [26]。另外，FNet [27]使用一维傅立叶变换代替自注意来混合标记层面的信息。一般来说，把一个架构看作是与预训练策略脱钩的。如果 CNN 预训练的方式与变压器模型相同，那么他们在许多 NLP 任务上都能得到有竞争力的表现[28]。同样，使用其他的预训练目标，例如选举式的预训练[29]，也可能会带来收益[30]。

重要性：通过同时探索许多互补或正交的方向，研究才能取得进展。如果大多数研究集中在单一的架构上，那么难免会出现偏见、盲点和错失机会的情况。新的模型可能会解决转化器的一些局限性，比如注意力的计算复杂性，其黑箱性质，以及秩序的不确定性。例如，与目前的模型相比，广义加法模型的神经扩展的解释性更好[31]。

预测：虽然预先训练的转化器可能会继续被部署为许多任务的标准基线，但我们还是希望看到替代的架构，特别是当前模型失效时间较短时，例如对长程依赖和高维输入建模，或者需要解释性和可解释性的情况。

04

Prompting

提示

P3提示集合中的提示模板。每个任务可以有多个模板。每个模板由一个输入模式和一个目标语言程序组成。为了释义，Choices 包括第一个模板中的{ Not duplices，duplices }和第二个模板中的{ Yes，No } (Sanh et al，2021)。

进展：由于 GPT-3[32]的推广，提示已经成为 NLP 模型的一种可行的替代输入格式。提示符通常包括一个要求模型做出某种预测的模式，以及一个用于将预测转换为类标签的语句化程序。有几种方法，比如 PET[33] iPET [34]和 AdaPET [35]，利用提示进行少量学习。然而，提示并不是一种灵丹妙药。模型的性能因提示不同而大不相同，并且，为了找到最好的提示，仍然需要标记示例[36]。为了可靠地比较模型在几次拍摄中的表现，现已开发了新的评价程序[37]。通过使用公共提示池(P3)的中的大量提示，人们可以探索使用提示的最佳方式。这项调查为一般的研究领域提供了一个极好的概述。

重要性：提示符可用于编码特定于任务的信息，根据任务的不同，最多可以编码3,500个带标签的示例。因此，提示是一种超越了手动标记样本或定义标记函数[40]的，将专家信息纳入模型训练的新方法。

预测：我们仅仅触及了使用提示来改进模型学习的皮毛。之后的提示将变得更加精细，例如包括更长的指令[18:1]、正面和反面的例子[41]以及一般的启发法。提示也可能是将自然语言解释纳入模型训练的一种更自然的方式。

05

高效方法

用 MAGMA 进行多模态适应。使用通过图像编码器学习的视觉前缀以及视觉特定的adpater层，将冻结的预训练语言模型适应于多模态任务(Eichenberg 等人，2021年)。

进展：预训练模型通常非常大，而且在实践中效率往往不高。2021年，出现了更有效的架构和更有效的微调方法。在建模方面，我们也看到了几个更有效的自我注意的版本。这项调查[45]提供了2021年前模型的概述。目前的预训练模型非常强大，只需更新少量的参数就可以有效地进行调节，于是出现了基于连续提示[46][47]和适配器[48][49][50]等的更有效的微调方法迅速发展。这种能力还能通过学习适当的前缀[51]或适当的转换[52][53]来适应新的模式。另外，还是用了其他一些方法，例如创建更有效的优化器[54]以及稀疏度的量化方法。

重要性：当模型不能在标准硬件上运行，或者成本过于昂贵时，模型的可用性就会大打折扣。为了保证模型在不断扩大的同时，实践者也能接受它们并且从中获益，模型的效率需要不断进步。

预测：人们应该能够更加容易地获得和使用有效的模型和训练方法。与此同时，社区将开发更有效的方法，来与大型模型接口，并有效地适应、组合或修改它们，而不必从头开始预先训练一个新模型。

06

基准测试

随着时间的推移，在机构和数据库上使用数据集的集中度不断增加。每个机构的数据集使用情况(左)表明，超过50% 的数据集使用可以归因于12个机构。近年来，以基尼指数衡量的数据集使用在机构和特定数据库上的集中度有所增加(右)(Koch 等人，2021)。

进展：最近机器学习和自然语言处理模型的能力迅速提高，已经超过了许多基准的测量能力。与此同时，社区用于进行评估的基准越来越少，而这些基准来自少数精英机构[55]。

因此，在2021年，我们看到了很多关于最佳实践，以及我们如何可靠地评估这些模型的未来发展的讨论，我在这篇博客文章中谈到了这一点。自然语言处理社区2021年出现的显著的排行榜范式有: 动态对抗性评价[56]、社区驱动评价，社区成员合作创建评价数据集，如 BIG-bench、跨不同错误类型的交互式细粒度评价[57] ，以及超越单一性能指标评价模型的多维评价[58]。此外，新的基准提出了有影响力的设置，如少镜头评价[59][60]和跨域泛化[61]。

我们还看到了新的基准，其重点是评估通用的预训练模型，用于特定的模式，如语言[62]，和具体语言，如印度尼西亚语和罗马尼亚语[63][64] ，以及多种模态[65]和多语言环境[66]。我们也应该更多地关注评价指标。机器翻译元评价[67]显示，在过去十年的769篇机器翻译论文中，尽管提出了108个可供选择的指标ー通常这具有更好的人类相关性ー，74.3% 的论文仍仅使用 BLEU。因此，最近如 GEM [68]和双维排行榜[69] 建议对模型和方法进行联合评估。

重要性：基准测试和评价是机器学习和自然语言处理科学进步的关键。如果没有准确和可靠的基准，我们就不可能知道我们是在取得真正的进步，还是在过度适应根深蒂固的数据集和指标。

预测：为了提高对基准测试问题的认识，应该更加深思熟虑地设计新的数据集。对新模型的评估也应该少关注单一的性能指标，而是考虑多个维度，如模型的公平性、效率和鲁棒性等。

07

条件性图像生成

CLIP如何生成艺术。生成模型基于潜在向量生成图像。然后根据 CLIP 的生成图像嵌入和文本描述的相似性更新潜在向量。这个过程不断重复，直到融合(来源: Charlie Snell)。

进展：条件性图像生成，即基于文本描述生成图像，在2021年取得了令人印象深刻的结果。围绕着最新一代的生成模型出现了一个艺术场景(参见这篇博客文章的概述：https://ml.berkeley.edu/blog/posts/clip-art/)。最近的方法不是像 DALL-E 模型那样直接基于文本输入生成图像，而是利用像 CLIP [72]这样的图像和文本嵌入联合模型来引导 VQ-GAN [71]这样的强大生成模型的输出。基于似然的扩散模型，逐渐消除信号中的噪声，已经成为强大的新的生成模型，可以胜过 GANs [73]。通过基于文本输入引导输出，最近的模型正在接近逼真的图像质量[74]。这样的模型也特别适用于修复，还可以根据描述修改图像的区域。

重要性：高质量图像的自动生成可以由用户引导，这开辟了广泛的艺术和商业应用，如视觉资产的自动设计，模型辅助原型和设计，个性化等。

预测：与基于GAN的模型相比，最近基于扩散的模型的取样速度要慢得多。这些模型需要提高效率，以使它们对现实应用程序有用。这个领域还需要对[21[]人机交互进行更多的研究，以确定这些模型如何通过最佳方式和应用帮助人类。

08

ML for Science

AlphaFold2.0的架构。该模型考虑进化相关的蛋白质序列和氨基酸残基对，并在两种表示之间迭代传递信息(编者: DeepMind)。

进展：2021年，机器学习技术在推进自然科学方面取得了一些突破。在气象学方面，降水临近预报和预报[75][76]的进展导致了预报准确性的大幅度提高。在这两种情况下，模型都优于最先进的基于物理的预测模型。在生物学领域，AlphaFold 2.0以前所未有的精确度预测了蛋白质的结构，即使在没有类似结构的情况下也是如此[14:1]。在数学方面，机器学习被证明能够引导数学家的直觉去发现新的联系和算法[77]。转换器模型也已被证明能够学习数学性质的差分系统，如局部稳定时，训练足够的数据[78]。

重要性：使用机器学习来增进我们对自然科学的理解和应用是其最有影响力的应用之一。使用功能强大的机器学习方法可以实现两种新的应用程序，并且可以大大加快现有的应用程序，如药物设计。

预测：使用循环中的模型来帮助研究人员发现和开发新的进展是一个特别引人注目的方向。它既需要开发强大的模型，也需要研究交互式机器学习和人机交互。

09

程序合成

掩码语言建模(ML)和用于代码建模的去模糊化(DOBF)预训练目标的比较。MLM 可以预测随机掩码的token，这些令牌主要与编程语言的语法有关。DOBF 需要去模糊化函数和变量的名称，这更具挑战性(Roziere 等人，2021)。

进展：今年大型语言模型最引人注目的应用之一是代码生成，Codex [79]作为 GitHub coilot 的一部分，首次整合到一个主要产品中。在预训练模型方面的其他进展从更好的预训练目标[80][81]到缩放实验[82][83]不等。然而，对于当前的模型来说，生成复杂和长形式的程序仍然是一个挑战。一个有趣的相关方向是学习执行或建模程序，这可以通过执行多步计算得到改进，其中中间的计算步骤记录在一个“暂存器”[84]中。

重要性：能够自动地综合各种应用的复杂程序，例如支持软件工程师，是非常有用的。

预测：在实践中，代码生成模型在多大程度上改进了软件工程师的工作流程，但仍然是一个有待解决的问题。为了真正发挥作用，这些模型ー类似于对话模型ー需要能够根据新的信息更新其预测，并需要考虑到当地和全球背景。

10

偏见

自动减少毒性的意外副作用。对边缘化群体的文本过滤降低了语言模型产生关于所述群体(甚至是正面的)文本的能力(Welbl et al. ，2021)。

进展：鉴于预训练大模型的潜在影响，至关重要的是，这些模型不应包含有害的偏见，不应被滥用以产生有害的内容，而应当被可持续的使用。一些评论[1:1][86][87]强调了这种模型的潜在风险。对性别、特定种族群体和政治倾向等受保护属性的偏见进行了调查。然而，从毒性等模型中消除偏见会带来权衡，并可能导致对边缘化群体相关文本的覆盖率降低[90]。

重要性：为了在实际应用中使用模型，它们不应该表现出任何有害的偏见，也不应该歧视任何群体。因此，更好地理解当前模型的偏见以及如何消除偏见对于实现机器学习模型的安全和负责任的部署至关重要。

预测：到目前为止，在英语和预先训练的模型以及特定的文本生成或分类应用方面，大多探讨了偏见。考虑到这些模型的预期用途和生命周期，我们还应致力于在多语种环境中确定和减轻不同模式组合方面的偏见，以及在预训练模型的使用的不同阶段——预训练后、微调后和测试时——的偏见。

11

检索增强

RETRO 体系结构概述。一个输入序列被分成多个块(左)。对于每个输入块，采用基于 BERT 嵌入相似度的近邻搜索方法检索最近邻块。该模型使用分块交叉注意(右)与标准变压器层交错，顾及到最近邻居(Borgeaud 等，2021)。

进展：检索增强语言模型将检索整合到训练前和下游使用中，已经成为我2020年的重点。在2021年，检索语料库已经扩大到一万亿个令牌[91] ，并且模型已经配备了查询网络以回答问题的能力[92][93]。我们还发现了将检索集成到预训练语言模型中的新方法。

重要性：检索增强使模型能够更有效地利用参数，因为它们只需要在参数中存储更少的知识，而且可以进行检索。它还通过简单地更新用于检索的数据[96]实现了有效的域自适应。

预测：我们可能会看到不同形式的检索，以利用不同类型的信息，如常识性知识，事实关系，语言信息等。检索扩展也可以与更加结构化的知识检索形式相结合，例如知识库总体方法和开放式信息抽取检索。

12

Token-free模型

Charformer 的子词块构成和评分。子词是基于连续的 n 元序列(a)形成的，这些序列由一个单独的评分网络进行评分。然后在其原始位置上复制块得分(b)。最后，对每个位置的子词进行总和，根据它们的块得分加权，形成潜在的子词(Tay 等人，2021)。

进展：2021年出现了新的token-free方法，这些方法直接使用字符序列[97][98][99]。这些模型已经被证明比多语言模型性能更好，并且在非标准语言上表现得特别好。因此，他们是一个很有前途的替代根深蒂固的子词为基础的transformer模型。

重要性：自从像 BERT 这样的预训练语言模型出现以来，由标记化的子词组成的文本已经成为 NLP 的标准输入格式。然而，子词标记已经被证明在嘈杂的输入中表现不佳，比如在社交媒体和某些类型的词法中常见的拼写错误或拼写变异。此外，它强加了对标记的依赖，这可能导致错配时，适应新的数据模型。

预测：由于token-free模型具有更大的灵活性，因此能够更好地对词法进行建模，并且能够更好地概括新词和语言的变化。然而，与基于不同类型的形态学或构词过程的子词方法相比，目前仍不清楚它们的表现如何，以及这些模型做出了什么取舍。

13

时序自适应

用T5模型进行时序自适应的不同训练策略。Uniform 模型（左）对所有没有明确时间信息的数据进行训练。按年设置(中间)为每一年训练一个单独的模型，而时间模型（右）预先给每个例子添加一个时间前缀（Dhingra 等人，2021)。

进展：模型在许多方面都是基于它们所受训练的数据而存在偏差的。在2021年，这些偏差受到越来越多的关注，其中之一是模型所训练的数据时间框架存在偏差。鉴于语言不断发展，新词汇不断进入论述，那些以过时数据为基础的模型已经被证明概括起来相对较差[100]。然而，时序适应何时有用，可能取决于下游任务。例如，如果语言使用中的事件驱动的变化与任务性能无关，那么它对任务的帮助就可能不大[101]。

重要性：时序自适应对于回答问题特别重要，因为问题的答案可能随问题的提出时间而改变。

预测：开发能够适应新时间框架的方法需要摆脱静态的预训练微调设置，并需要有效的方法更新预训练模型的知识。这两种有效的方法以及检索增强在这方面是有用的。它还需要开发模型，其中的输入不存在于真空中，而是基于语言以外的语境和现实世界。关于这个主题的更多工作，请查看 EMNLP 2022的 EvoNLP 研讨会。

14

数据的重要性

MaRVL 中的一个例子与斯瓦希里语的概念 leso (“类似围裙”)有关，它要求模型识别图片标注中的描述是真是假。标注(斯瓦希里语)是: Picha moja ina watu kadhaa waliovaa leso na Picha ninina leso bila watu。(“一幅画里有几个人戴着围裙，另一幅画里有一条围裙，但是不带人。”).这个标签明显是错的(Liu et al. ，2021)。

进展：数据长期以来一直是机器学习的关键组成部分，但数据的作用通常被模型的进步所掩盖。然而，考虑到数据对于扩展模型的重要性，人们的注意力正慢慢从以模型为中心转移到以数据为中心。这当中关键的主题包括如何有效地建立和维护新的数据集，以及如何确保数据质量（参见 NeurIPS 2021—以数据为中心的人工智能研讨会）。特别是，预训练模型使用的大规模数据集今年受到了审查，包括多模态数据集[104]以及英语和多语言文本语料库[105][106]。这样的分析可以为更具代表性的资源的设计提供信息，例如用于多模态推理的 MaRVL [107]。

重要性：数据对于大规模机器学习模型的训练至关重要，也是模型获取新信息的关键因素。随着模型规模的扩大，确保规模化以后的数据质量变得更具挑战性。

预测：我们目前缺乏最佳实践和原则性方法，关于如何有效地为不同的任务建立数据集，确保数据质量等。关于数据如何与模型的学习相互作用，以及数据如何影响模型的偏差，人们仍然知之甚少。例如，训练数据过滤可能对语言模型中涉及边缘化群体有负面影响[90:1]。

15

元学习

通用模板模型的训练与测试设置。一个模型包括共享卷积权重和数据集特定的FiLM层，在一个多任务设置中（左侧）进行训练。测试回合的FiLM参数值是根据在训练数据上学到的FiLM参数集的凸组合而初始化的（右侧）。然后使用支持集上的梯度下降法分类器对它们进行更新，使用最近中心分类器作为输出层(Triantafillou et al. ，2021)。

进展：元学习和迁移学习，尽管都有着少样本学习的共同目标，但研究的群体却不同。在一个新的基准[108]上，大规模迁移学习方法优于基于元学习的方法。一个有希望的方向是扩大元学习方法，这种方法可与更高效利用内存的训练方法相结合，可以提高元学习模型在现实世界基准测试上的性能。元学习方法也可以结合有效的适应方法，比如FiLM层[110] ，使得通用模型更有效地适应新的数据集[111]。

重要性：元学习是一个重要的范例，但在没有考虑到元学习系统设计的标准基准上，却没有产生最先进的结果。将元学习和迁移学习社区更紧密地联系在一起，可能会产生更实用的元学习方法，这些方法在现实世界的应用中非常有用。

预测：在结合大规模多任务学习中的大量自然任务时，元学习就会格外派上用场。元学习还可以通过学习如何根据大量可用提示设计或使用提示来帮助改进提示。

参考链接参见原文：

https://ruder.io/ml-highlights-2021/index.html