AMBERT: A PRE-TRAINED LANGUAGE MODEL WITH MULTI-GRAINED TOKENIZATION

1. 之前的BERT还存在什么问题？

归纳：即BERT中的token采取的是细粒度的，这种细粒度无法解决英语中的“多词表达形式（如 ice creaming； New York，这些多词表达分开的意思和真正的意思相去甚远）”

2. 作者的解决方案

在本文中，我们提出了一个多粒度的BERT模型(AMBERT)，它同时使用了细粒度和粗粒度标记。对于英语，AMBERT通过使用两个编码器同时构造输入文本中的单词和短语的表示来扩展BERT。确切地说，AMBERT首先在单词和短语级别上进行标记化。然后，它将单词和短语的嵌入作为两个编码器的输入。它在两个编码器中使用相同的参数。最后，它在每个位置上分别获得该词的上下文表示和该短语的上下文表示。注意，由于参数共享，AMBERT中的参数数目与BERT中的参数数目相当。AMBERT可以在单词级和短语级表示输入文本，以利用这两种标记方法的优点，并在多个粒度上为输入文本创建更丰富的表示

3 作者贡献（创新点）

多粒度预训练语言模型的研究
提出一种新的被称为AMBERT的预训练语言模型作为BERT的扩展，它利用了多粒度的token和共享的参数
AMBERT在英文和中文基准数据集GLUE, SQuAD, RACE，和CLUE上的实证验证。

具体可参考专知链接和论文：https://www.zhuanzhi.ai/vip/bc6b030cfb7f96c81f1eb5440fcb7f94
论文地址

AMBERT！超越BERT！多粒度token预训练语言模型相关推荐

自然语言处理NLP，如何使用AMBERT算法建立多粒度token预训练语言模型
字节跳动 Xinsong Zhang.李航两位研究者在细粒度和粗粒度标记化的基础上,提出了一种新的预训练语言模型,他们称之为 AMBERT(一种多粒度 BERT).在构成上,AMBERT 具有两个编码 ...
【深度学习】预训练语言模型-BERT
1.BERT简介 BERT是一种预训练语言模型(pre-trained language model, PLM),其全称是Bidirectional Encoder Represent ...
微软提出AdaLM，用于开发小型、快速且有效的领域预训练语言模型
©作者 | 常馨学校 | 北京邮电大学硕士生研究方向 | NLP.信息检索论文标题: Adapt-and-Distill: Developing Small, Fast and Effectiv ...
retinanet50预训练权重_论文导读|基于注意力机制对齐增强预训练语言模型
李彦增这篇文章通过提出了一种注意力机制对齐的方法,为预训练语言模型在 fine-tuning阶段引入了多源分词信息外部知识,从而提升了预训练语言模型在各个子任务上的效果.本文收录于 2020 年 A ...
《预训练周刊》第7期：傅立叶图像变换器解析、阿里达摩院发布最大中文预训练语言模型PLUG
No.07 智源社区预训练组预训练研究观点资源活动关于周刊 ‍‍‍超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第7期 ...
预训练语言模型真的是世界模型？
文 | 子龙自GPT.BERT问世以来,预训练语言模型在NLP领域大放异彩,刷新了无数榜单,成为当前学界业界的心头爱,其主体结构--Transformer--也在逐步的运用于其他领域的任务中,常见的 ...
CPT模型：一种中文兼顾NLU和NLG的非平衡预训练语言模型
写在前面大家好,我是刘聪NLP. 前几天在做生成任务的时候,在Github里搜索「中文BRAT模型」,一下搜到了复旦大学邱锡鹏老师组的「CPT」(Chinese Pre-trained Unbala ...
COLING 2022 | CogBERT：脑认知指导的预训练语言模型
©作者 | 陈薄文单位 | 哈尔滨工业大学来源 | 哈工大SCIR 论文标题: CogBERT:Cognition-Guided Pre-trained Language Model 论文作者: ...
论文导读 | 基于注意力机制对齐增强预训练语言模型
这篇文章通过提出了一种注意力机制对齐的方法,为预训练语言模型在 fine-tuning阶段引入了多源分词信息外部知识,从而提升了预训练语言模型在各个子任务上的效果.本文收录于 2020 年 ACL. ...

AMBERT！超越BERT！多粒度token预训练语言模型

AMBERT: A PRE-TRAINED LANGUAGE MODEL WITH MULTI-GRAINED TOKENIZATION

1. 之前的BERT还存在什么问题？

2. 作者的解决方案

3 作者贡献（创新点）

AMBERT！超越BERT！多粒度token预训练语言模型相关推荐

最新文章

热门文章