本文研究了半监督学习中通过自监督训练利用非标记数据的一种方法。具体来说，引入了SentAugment，这是一种数据增强方法，它从有标签的数据中计算特定于任务的查询嵌入，从从网络上爬取的数十亿个无标签的句子库中检索句子（/(ㄒoㄒ)/~~果然是Facebook AI才配做的工作啊）。与以前的半监督方法不同，本文的方法不需要域内无标记数据，因此更普遍适用（我觉得咋不太实用呢，主要是数据量太大了穷逼应该用不起吧？）。
其实本文的思路很简单，捋一遍论文就知道了。

Approach

总体的结构图如图所示：

Large-scale sentence bank

本文的方法依赖于一个大规模的无监督句子语料库，也就

Self-training Improves Pre-training for Natural Language Understanding，NAACL2021相关推荐

自然语言理解（Natural Language Understanding）
1. 引言 Siri,Cortana,Google Now,小冰,度秘,随着技术的进步和自然人机交互需求的扩大,个人智能助理渐渐成了各大巨头争夺的下一个入口.这些智能助理尽管能力有大有小,但有一个共同 ...
TINYBERT: DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING
TINYBERT: DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING 来源:ICLR 2020 在审链接:https://arxiv.org/pd ...
自然语言处理从入门到应用——自然语言处理（Natural Language Processing，NLP）基础知识
分类目录:<自然语言处理从入门到应用>总目录自然语言通常指的是人类语言,是人类思维的载体和交流的基本工具,也是人类区别于动物的根本标志,更是人类智能发展的外在体现形式之一.自然语言处理( ...
Self-training Improves Pre-training for Natural Language Understanding 笔记
self-training,是用训练好的模型的预测结果作为伪target,混入原训练集一起训练, 该文的创新在于提出一种文本相似度算法从海量文本中找出和训练集中的文本相似的文本, 然后用训练好 ...
NLU（Natural Language Understanding）太难了
原文链接:https://github.com/fighting41love/hardNLU NLU is hard!!! 一直关注刘群老师的微博,常常看见他分享的一些好玩的#自然语言理解太难了#. ...
【模型蒸馏】TinyBERT: Distilling BERT for Natural Language Understanding
总述 TinyBert主要探究如何使用模型蒸馏来实现BERT模型的压缩. 主要包括两个创新点: 对Transformer的参数进行蒸馏,需要同时注意embedding,attention_weight ...
NATURAL LANGUAGE INFERENCE OVER INTERACTION SPACE
文章目录 ABSTRACT 1 INTRODUCTION 2 RELATED WORK 3 MODEL 3.1 INTERACTIVE INFERENCE NETWORK 3.2 DENSELY IN ...
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process
摘要这篇文章是对最近比较火的"prompt"的一个总结,一篇非常好的综述,做NLP方向建议都要读一读:) 本文将这种方法称之为"prompt-based learnin ...
EMNLP2020 | 近期必读Natural Language Inference精选论文
**AMiner平台**由清华大学计算机系研发,拥有我国完全自主知识产权.平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价.专家发现.智能指派.学术地图等科技情报专业化服务 ...

Self-training Improves Pre-training for Natural Language Understanding，NAACL2021

Approach

Large-scale sentence bank

Self-training Improves Pre-training for Natural Language Understanding，NAACL2021相关推荐

最新文章

热门文章