AutoRegressive Language Model

回归分析（regression analysis）是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。AutoRegressive,（AR）模型又称为时间序列模型，数学表达式为:
y ( t ) = ∑ i = 1 n a i y ( t − i ) + e ( t ) y(t)=\sum_{i=1}^na_iy(t-i)+e(t) y(t)=i=1∑naiy(t−i)+e(t)其中，n表示n阶自回归，AR是一种线性预测。
语言模型（Language Model），语言模型简单来说就是一串词序列的概率分布。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。

1 ELMO

《Deep Contextualized Word Representations》
《Semi-supervised sequence tagging with bidirectional language models》
It is made in two directions, from left to right and right to left, in two language model directions. And it is an autoregressive LM with two directions respectively, and then splicing the hidden node states of the two directions of LSTM Together to reflect the two-way language model.
The schematic diagram is as follows:

2 GPT

《Improving Language Understanding by Generative Pre-Training》
It has a Multi-layer unidirectional Transformer structure. First, train and generate language models through unlabeled text. Then, fine-tuning the model through labeled data according to specific NLP tasks (such as text implication, QA, text classification, etc).
The schematic diagram is as follows:

3 DARN

We need to perform the decoding part of the top-down traversal model to generate a sample, starting from the deepest hidden layer and sampling a unit layer by layer. Training DARN by minimizing the stored total information used to reconstruct the original input and following the minimum description length principle.
The schematic diagram is as follows:

4 BERT

《Attention is all you need》

【NLP】AutoRegressive Language Model相关推荐

【PyTorch】语言模型/Language model
1 模型描述 (1)语言模型的定义,来自于维基百科统计式的语言模型是一个几率分布.语言模型提供上下文来区分听起来相似的单词和短语.例如,短语"再给我两份葱,让我把记忆煎成饼"和& ...
【NLP】一份相当全面的BERT模型精讲
本文概览: 1. Autoregressive语言模型与Autoencoder语言模型 1.1 语言模型概念介绍 Autoregressive语言模型:指的是依据前面(或后面)出现的单词来预测当前时刻 ...
【NLP】XLnet：GPT和BERT的合体，博采众长，所以更强
前面介绍过BERT,作为一种非常成功的预训练模型,取得了非常不错的成绩,那么,他还有改进的空间吗? 本文介绍BERT的改进版,XLnet.看看它用了什么方法,改进了BERT的哪些弱点. 作者& ...
【NLP】深入浅出解析BERT原理及其表征的内容
本篇介绍目前NLP领域里影响力最大的预训练模型BERT.首先,大致介绍了BERT里有什么:接着,介绍了BERT的结构和其预训练的方式:最后,再总结BERT的表征的内容和分布. 作者&编辑 | ...
【NLP】语言模型和迁移学习
10.13 Update:最近新出了一个state-of-the-art预训练模型,传送门: 李入魔:[NLP]Google BERT详解zhuanlan.zhihu.com 1. 简介长期以来, ...
【NLP】Google BERT详解
版权声明:博文千万条,版权第一条.转载不规范,博主两行泪 https://blog.csdn.net/qq_39521554/article/details/83062188 </div> ...
UNISAR: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL
简介 Text2SQL(也称为NL2SQL)是一项将用户的自然语句转为可执行 SQL 语句的技术,对改善用户与数据库之间的交互方式有很大意义.Text2SQL的本质,是将用户的自然语言语句转化 ...
【NLP】一文汇总自然语言处理主要研究方向
NLP专栏已经发了相当数目的文章,从基础的机器学习到最新的预训练语言模型:从简单的文本分类到复杂的信息抽取.聊天机器人.今天我们做一个回顾和总结,聊聊我们从事的自然语言处理研究或者工作,究竟是怎么一回 ...
【NLP】关于Transformer的常见问题及解答
作者 | Adherer 编辑 | NewBeeNLP PDF版文末自行下载哈~ 写在前面前些时间,赶完论文,开始对 Transformer.GPT.Bert 系列论文来进行仔仔细细的研读,然后顺手 ...

【NLP】AutoRegressive Language Model

1 ELMO

2 GPT

3 DARN

4 BERT

【NLP】AutoRegressive Language Model相关推荐

最新文章

热门文章