论文：Improving Language Understandingby Generative Pre-Training

1. 前言

本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Training》做一个解析。

一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法大量的人工标注信息，这限制了在很多领域的应用。在这些情况下，可以利用来未标记数据的语言信息的模型来产生更多的注释，这可能既耗时又昂贵。此外，即使在可获得相当大的监督的情况下，以无人监督的方式学习良好的表示也可以提供显着的性能提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。

2. OpenAI GPT原理

本文提出一种半监督的方式来处理语言理解的任务。使用非监督的预训练和监督方式的微调。我们的目标是学习一个通用的语言标示，可以经过很小的调整就应用在各种任务中。这个模型的设置不需要目标任务和非标注的数据集在同一个领域。模型有两个过程。

使用语言模型学习一个深度模型
随后，使用相应的监督目标将这些参数调整到目标任务

3. OpenAI GPT模型结构

3.1 非监督预训练

处理非监督文本(

系统学习NLP（二十八）--GPT相关推荐

系统学习NLP（十八）--文本分类概述
转自:https://blog.csdn.net/u014248127/article/details/80774668 文本分类问题: 给定文档p(可能含有标题t),将文档分类为n个类别中的一个或多 ...
Unreal Engine 4 —— GAS系统学习（二十八）创建Lazer招式与GameplayEffect
欢迎大家加入Unreal Engine C++ & Blueprint群一起交流:1143575617 为Lazer招式新建一个GA招式,继承自BP_GameplayAbility,这个类是前 ...
嵌入式系统设计师学习笔记二十八：嵌入式程序设计③——高级程序设计语言
嵌入式系统设计师学习笔记二十八:嵌入式程序设计③--高级程序设计语言解释程序和编译程序编译器的工作阶段示意图语法错误:非法字符,关键字或标识符拼写错误语法错误:语法结构出错,if--endif ...
无人驾驶汽车系统入门（二十八）——基于VoxelNet的激光雷达点云车辆检测及ROS实现
无人驾驶汽车系统入门(二十八)--基于VoxelNet的激光雷达点云车辆检测及ROS实现前文我们提到使用SqueezeSeg进行了三维点云的分割,由于采用的是SqueezeNet作为特征提取网络,该 ...
JavaScript学习（二十八）—事件冒泡和事件捕获
JavaScript学习(二十八)-事件冒泡和事件捕获一.什么是事件流? 简单说,事件流就是指事件的执行顺序,他包含两种模式:事件冒泡.事件捕获. (一).事件冒泡最常用的一种模式,就是指事件的执 ...
Mr.J-- jQuery学习笔记(二十八)--DOM操作方法(添加方法总结)
Table of Contents appendTo appendTo(source, target) 源代码 append prependTo prependTo源码 prepend ...
系统学习NLP（十二）--文本表示综述
文本表示,简单的说就是不将文本视为字符串,而视为在数学上处理起来更为方便的向量(也就是文本特征抽取).而怎么把字符串变为向量,就是文本表示的核心问题. 文本表示,基于类型分为: 长文本表示短文本表示 ...
嵌入式Linux系统编程学习之二十八线程的等待退出
文章目录一.等待线程退出二.线程的取消三.线程终止清理函数一.等待线程退出线程从入口点函数自然返回,或者主动调用 pthread_exit 函数都可以让线程正常终止.线程从入口点函数自然 ...
系统学习深度学习（二十八）--DSD
论文:DSD: Dense-Sparse-Dense Training for Deep Neural Networks 论文链接:https://arxiv.org/pdf/1607.04381.p ...
系统学习NLP（十九）--文本分类之FastText
转自:https://blog.csdn.net/sinat_26917383/article/details/54850933 FastText是Facebook开发的一款快速文本分类器,提供简单而 ...

系统学习NLP（二十八）--GPT

1. 前言

2. OpenAI GPT原理

3. OpenAI GPT模型结构

3.1 非监督预训练

系统学习NLP（二十八）--GPT相关推荐

最新文章

热门文章