GPT-3 Finetune

一只小狐狸带你解锁炼丹术&NLP秘籍

2018年10月推出的BERT一直有着划NLP时代的意义，然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT（Generative Pre-Training）在以它的方式坚持着，向更通用的终极目标进发。

最初的GPT只是一个12层单向的Transformer，通过预训练+精调的方式进行训练，BERT一出来就被比下去了。之后2019年初的GPT-2提出了meta-learning，把所有NLP任务的输入输出进行了整合，全部用文字来表示，比如对于翻译任务的输入是“英翻法：This is life”，输出是“C’est la vie”。直接把任务要做什么以自然语言的形式放到了输入中。通过这种方式进行了大规模的训练，并用了15亿参数的大模型，一举成为当时最强的生成模型。

遗憾的是，GPT-2在NLU领域仍并不如BERT，且随着19年其他大模型的推出占据了下风，年初微软推出的Turing-NLG已经到达了170亿参数，而GPT-2只有15亿。这些模型的尺寸已经远远超出了大部分公司的预算和调参侠们的想象。。。已经到极限了吗？

不，“极限挑战”才刚刚开始，OpenAI在十几个小时前悄然放出了GPT第三季——《Language Models are Few-Shot Learners》。

paper链接：https://arxiv.org/abs/2005.14165

github链接：https://github.com/openai/gpt-3

GPT-3依旧延续自己的单向语言模型训练方式，只不过这次把模型尺寸增大到了1750亿，并且使用45TB数据进行训练。同时，GPT-3主要聚焦于更通用的NLP模型，解决当前BERT类模型的两个缺点：

对领域内有标签数据的过分依赖：虽然有了预训练+精调的两段式框架，但还是少不了一定量的领域标注数据，否则很难取得不错的效果，而标注数据的成本又是很高的。

对于领域数据分布的过拟合：在精调阶段，因为领域数据有限，模型只能拟合训练数据分布，如果数据较少的话就可能造成过拟合，致使模型的泛华能力下降，更加无法应用到其他领域。

因此GPT-3的主要目标是用更少的领域数据、且不经过精调步骤去解决问题。

为了达到上述目的，作者们用预训练好的GPT-3探索了不同输入形式下的推理效果：

这里的Zero-shot、One-shot、Few-shot都是完全不需要精调的，因为GPT-3是单向transformer，在预测新的token时会对之前的examples进行编码。

作者们训练了以下几种尺寸的模型进行对比：

最重要的是，GPT-3在Few-shot设定下，在部分NLU任务上超越了当前Fine-tuning的SOTA。该论文长达72页（Google T5是53页），第10页之后都是长长的实验结果与分析。需要的同学们可以在公众号后台回复「0529」获取下载链接。

显然，GPT-3的模型参数、训练数据和工作量都是惊人的，论文署名多达31个作者，所有实验做下来肯定也耗费了不少时间。虽然一直都存在对于大模型的质疑声音，但我们确确实实从T5、GPT-3这样的模型上看到了NLP领域的进步，众多业务也开始受益于离线或者线上的BERT。事物的发展都是由量变到质变的过程，感谢科研工作者们的不懈努力和大厂们的巨额投入，奥利给

GPT-3 Finetune相关推荐

#深入理解# Bert框架原理
文章目录 1. Bert 的网络结构 2. Bert 模型的输入 3. Bert 模型预训练任务 3.1 Masked LM(MLM) 3.2 Next Sentence Prediction(NSP ...
干货 | 谷歌BERT模型fine-tune终极实践教程
作者 | 奇点机智从11月初开始,Google Research就陆续开源了BERT的各个版本.Google此次开源的BERT是通过TensorFlow高级API-- tf.estimator进行封 ...
【NLP】GPT：第一个引入Transformer的预训练模型
目前两种最重要的预训练语言模型,一种是前面介绍过的BERT,另外一种就是GPT. GPT出了两个版本,GPT1.0和GPT2.0,GPT2.0相对于GPT1.0差别不大,可以认为是它的增强版.本篇介绍 ...
【NLP】XLnet：GPT和BERT的合体，博采众长，所以更强
前面介绍过BERT,作为一种非常成功的预训练模型,取得了非常不错的成绩,那么,他还有改进的空间吗? 本文介绍BERT的改进版,XLnet.看看它用了什么方法,改进了BERT的哪些弱点. 作者& ...
【论文串讲】从GPT和BERT到XLNet
" 本文是本专栏即将发表的文本预训练系列里面的一个章节,主要讲了XLNet的思路和具体实现细节,之所以叫XLNet是因为它以Transformer- XL为基础.XLNet是一种广义的自回归 ...
gpt 语言模型_您可以使用语言模型构建的事物的列表-不仅仅是GPT-3
gpt 语言模型 Natural language processing (NLP) is everywhere lately, with OpenAI's GPT-3 generating as m ...
李宏毅机器学习（七）GPT的野望
前情提要前面我们有说,BERT做的是什么? Bert做的是填空题! GPT做的是什么? 做的是预测接下来要出现的Token是什么? 它里面的结构有点像Transformer中的Decoder GPT ...
老板让我用少量样本 finetune 模型，我还有救吗？急急急，在线等！
文 | ???????????????? 编 | 王苏今天介绍的是一篇 NAACL'21 新鲜出炉的工作!NAACL 上周四出的结果,这篇工作本周一上传 arxiv,周二被王苏小哥哥发现,周三拜读了 ...
GPT语言模型：通过生成式预训练改善语言理解 OpenAI 2018
论文链接:https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 代码链接:https://github.com ...
【李宏毅机器学习】Introduction of ELMO、BERT、GPT（p25）学习笔记
文章目录 Putting Words into Computers--Introduction of ELMO.BERT.GPT Review A word can have multiple sen ...

GPT-3 Finetune

GPT-3 Finetune相关推荐

最新文章

热门文章