ChatGPT一经发布就在科技圈火得不行，这两天也是被传得神乎其神，听说它写得了代码、改得了 Bug，小说、段子统统不再话下！那他到底是怎么训练成现在这样的呢？本文介绍李宏毅老师的分析。

那么接下来我们就来介绍Chat GPT是怎样练成的！

1.找寻资料参考：

李老师在翻看OpenAI的博客发现，其目前并没有发表关于ChatGPT的论文。但是！在OpenAI官方博客介绍中，我们可以发现CharGPT有一个兄弟，InstructGPT，因此他决定依靠InstructGPT去寻找一些ChatGPT的训练逻辑。

当我们看到ChatGPT与InstructGPT的对比时，更加坚定的确定通过InstructGPT是可以找到ChatGPT模型的蛛丝马迹的。如下，上面为ChartGPT的训练流程下面为InstructGPT的流程图。可以说像的7788了，比较面明显的区别其实只有GPT的版本不同而已，前者是GPT3.5，后者是GPT3。所以李老师决定直接分析InstructGPT来推测Chat GPT是怎样练成的！

2.正式开始介绍Chat GPT的学习四阶段：

2.1 学习文字接龙

学习文字接龙，其实就是依据目前已有的信息，去推测下一个可能出现的字，以此类推。与我们在学习机器学习中的文字翻译Transformer架构很相似。

正如下面的例子所演示的，当我们有目前有：“你好”这一个不完整的句子的时候，程序可以基于在互联网上学习到的知识去预测下一个字，有可能是 “美”

这种学习的好处是，我们并不需要人工标注出机器需要训练的内容，只需要把他放到互联网上，看到文字就自我学习文字接龙即可。

但是，坏处也显而易见了，对于一个不完整的句子，我们后面的词可以是很多种多样的，比如说在 “你好” 后面，我们可以接上 “吗” 、 “高”、“美” 等，所以GPT返回的其实是一个概率分布，也就是说每次回答的内容其实都是随机的。这次说 “你好吗”，下次可能就说 “你好美了” 。

但是单单依靠文字接龙，其实GPT就已经可以回答问题了。比如下面的例子，我们问出“台湾最高的山是哪座？” 当GPT在网上看过这么多资料，它通过文字接龙的形式回答，可能可以直接回答出玉山，也可能给你出一道选择题（如果他读过的资料是这么连接起来的），也可能反问你 “谁来告诉我呀？”

2.2 人类老师引导文字接龙方向

经过了文字接龙，我们会发现GPT虽然能回答我们的问题，但是并不一定能回答出我们想要的答案。说白了就是人工来筛选哪些是我们需要的答案（还是逃离不了有多人工就有多智能呐！）

2.3 模仿人类老师的喜好

人类希望获得的答案就会被赋予更高的分数

2.4 使用增强向模拟老师学习

就是我们将每次GPT得到的答案都丢给TeacherModel来评判，如果是人类希望的答案就给高分，如果不是则给低分，这个模式被称为增强式学习种的“Reward”模块

3. 当然，ChatGPT目前并不是完美的...

目前ChatGPT模型已经很难再被找到错误了，但是根据上面的分析，我们只需要问出一些没有人问过的内容，他就回答不出来了。比如说：我问 “numbers”是由几个字母组成的，他会回答八个，这是八个吗？？？这明明就是七个！！！

4.总结

李宏毅老师认为本流程是GPT的社会化过程，从一开始的想说什么就说什么，一直到后面的人类引导他说出期望的答案。

Chat GPT原理相关推荐

【前沿技术】文心一言 PK Chat Gpt
目录写在前面一.文心一言二.Chat GPT 三.对比四.总结写在前面随着人工智能技术的不断发展和普及,越来越多的智能应用走入了人们的日常生活,如智能语音助手.智能客服.机器翻译等等.在这 ...
玩转#ChatGPT之“用Chat GPT 做出行攻略”
到了五一假期,许多人要规划旅游行程,但却为此烦恼花费很多时间做功课.现在,您可以通过Chat GPT来安排旅游行程.只需告诉GPT您的日期和目的地,便能在30秒内生成不错的行程攻略.同时您还可以添加特 ...
猿如意|程序员的如意神器之【chat GPT】测评。
chat GPT测评 1.使用感受 2.功能展示 3.期待优化地方 3.1 猿如意网页版搜索功能 3.2 chat GPT 3.2.1 测试抢券才能体验 3.2.2 聊天体验 1.使用感受首先,需要 ...
人机对话比拼，Chat GPT和文心一言谁更接近真实交流？”
目录文心一言初体验一.登录体验难易对比二.测试对比--哲学类第一个问题:<三体>的作者是谁? 第二个问题:总结以下<三体>的核心内容,如果要续写的话可以从哪个角度出发? ...
我让Chat GPT准备了几份SAP 顾问英文面试自我介绍的模板，大家感受一下
有个朋友说有个面试要用英文来做自我介绍,我灵机一动,不如让Chat GPT准备了几份SAP 顾问英文面试自我介绍的模板,大家感受一下.我看下来感觉写的还是中规中矩,可以一用,. 模板1 Sure, I ...
猿如意|chat GPT测评
文章目录猿如意猿如意传送门猿如意个人使用感受好的一面: 可以改进的一面: 什么是猿如意 chat GPT测评 chat GPT 关于通用的问题问题1-如何写一篇会计论文问题2 -如何规划自 ...
介绍5款热门的Chat GPT应用，总有适合你的一款
从2022年12月初刚上线至今,不到半年时间 ChatGPT月活就超过了1亿用户!可谓火的一塌糊涂, 比尔盖茨都称:ChatGPT的历史意义重大,不亚于PC或互联网诞生! 以至于ChatGPT官网长期 ...
告别Chat GPT Access denied
告别Chat GPT Access denied 在使用Chat GPT的时候,经常会因为各种问题导致不能使用,出现这种问题主要是因为网络问题和游览器问题,Chat GPT对游览器的检测相当严格, ...
Chat GPT介绍
一.Chat GPT是什么? ChatGPT是一个基于大规模预训练语言模型的对话系统,由OpenAI开发.它的核心技术是GPT(Generative Pre-trained Transformer)模 ...
8篇报告｜马斯克称Chat GPT好得惊人
8篇报告|马斯克称Chat GPT好得惊人‼️ 最近,连续刷屏的AI应用ChatGPT火爆全球,成为科技圈第一大热潮. 马斯克在推特上评价 ChatGPT 称:"ChatGPT 好得惊人.我 ...

Chat GPT原理