PTMs-GPT,GPT2

前沿： GPT和ELMo一样是作为自回归模型。相对于ELMo来说，特征提取器换成了transformer。因为不同于LSTM的序列方式，transformer的方式需要考虑避免后面待预测的单词对当前的单词影响，所以需要引入一个masked multi-attention机制，其实就是后面单词被掩码了。
论文：
Improving Language Understanding by Generative Pre-Training
Language Models are Unsupervised Multitask Learners
目录：

网络架构形式
如何针对下游做微调
和ELMo的相同点以及不同点
实现细节

网络架构：

一看发现这TM不就是BERT吗？仔细一看，self-attention还是有很大的区别的，感觉也就是自回归和自编码的区别了，自回归需要避免所谓的将来单词对于现在的影响，自编码不用。

如何针对下游调整：
GPT是可以针对下游做微调的，就像上面架构图描述的一样。但是注意ELMo不行，ELMo更多的是学习word embedding。具体调试方法看上面。

对比ELMo，GPT，

PTMs-GPT,GPT2相关推荐

语音识别(ASR)论文优选：Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition
声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵.平时搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html.如转载,请标明出处.欢迎 ...
一个API调用27个NLP预训练模型：BERT、GPT-2全囊括，像导入NumPy一样容易
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 只需一个API,就能调用BERT.XLM等多种语言模型,逆天的GPT-2也一样轻松到碗里来,这样的模型库你是否期待? 现在,真的有人完成了 ...
快速串联 RNN / LSTM / Attention / transformer / BERT / GPT
参考: 李宏毅2021/2022春机器学习课程王树森 RNN & Transformer 教程 Transformer 详解文章目录 0. 背景:序列数据及相关任务 1. 早期序列模型 1 ...
预训练语言模型整理（ELMo/GPT/BERT...）
预训练语言模型整理(ELMo/GPT/BERT...)简介预训练任务简介# 自回归语言模型# 自编码语言模型预训练模型的简介与对比 ELMo 细节# ELMo的下游使用# GPT/GPT2# GP ...
虽被BERT碾压，但还是有必要谈谈BERT时代与后时代的NLP
作者 | 吴金龙,爱因互动技术合伙人,算法负责人来源 | 授权转载自AINLP(ID:nlpjob) 2018年是NLP的收获大年,模型预训练技术终于被批量成功应用于多项NLP任务.之前搞NLP的人 ...
一文回顾深度学习十年发展
公众号关注 "视学苏案发" 设为 "星标",DLCV消息即可送达! 转自 | 大数据文摘出品来源 | leogao.dev 随着21世纪第二个十年行将结束,我 ...
【深度学习前沿】一文回顾深度学习十年发展
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转自 | 大数据文摘出品来源 | leogao.dev 随着21世纪第二个十年行 ...
pytorch加载预训练模型_Pytorch-Transformers 1.0发布，支持六个预训练框架，含27个预训练模型...
AI 科技评论按:刚刚在Github上发布了开源 Pytorch-Transformers 1.0,该项目支持BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM等,并包含 ...
机器学习基于skcilearn tensorflow电子书_Tensorflow机器学习模型的跨平台上线
本篇文章转载自博客园,作者: 刘建平Pinard 在用PMML实现机器学习模型的跨平台上线中,我们讨论了使用PMML文件来实现跨平台模型上线的方法,这个方法当然也适用于tensorflow生成的模型, ...
Transformer 这么强，该从何学起？
Transformer 作为一种基于注意力的编码器 - 解码器架构,不仅彻底改变了自然语言处理(NLP)领域,还在计算机视觉(CV)领域做出了一些开创性的工作.与卷积神经网络(CNN)相比,视觉 Tr ...

PTMs-GPT,GPT2

PTMs-GPT,GPT2相关推荐

最新文章

热门文章