ChatGPT三个关键技术
情景学习（In-context learning）
对于一些LLM没有见过的新任务，只需要设计一些任务的语言描述，并给出几个任务实例，作为模型的输入，即可让模型从给定的情景中学习新任务并给出满意的回答结果。这种训练方式能够有效提升模型小样本学习（few-shot learning）的能力。下图是一个情景学习的示例。
可以看到，只需要以自然语言的形式描述两个情感分类任务输入输出的例子，LLM就能够对新输入数据的情感极性进行判断。
思维链（Chain-of-Thought，CoT）
对于一些逻辑较为复杂的问题，直接向大规模语言模型提问可能会得到不准确的回答，但是如果以提示（prompt）的方式在输入中给出有逻辑的解题步骤（即将复杂问题拆解为多个子问题解决再从中抽取答案）的示例后再提出问题，大模型就能给出正确题解。
如图所示，直接让模型进行数学题的计算会得到错误的结果，而引入解题过程则可以激发模型的推理能力，从而得到的正确的结果。
有时，甚至不用给示例，在输入后面接一句“Let’s think step by step”，模型的输出就是一步一步“思考”后的各个子问题的结果，再将该输出拼到输入后构造第二次输入数据，大模型就能进一步将上一步的输出整合，得出正确的复杂问题的解。（so amazing!）
目前有研究发现，由于数据集中存在的大量代码数据，得益于代码的强逻辑性，通过将问题中的文本内容替换为编程语言能够进一步提升模型的CoT能力（Program-aided Reasoning）。
由于CoT技术能够激发大规模语言模型对复杂问题的求解能力，该技术也被认为是打破比例定律的关键。
03
自然指令学习
（Learning from Natural Instructions）
这种训练方式会在输前面添加一个“指令（instruction）”，该指令能够以自然语言的形式描述任务内容，从而使得大模型根据输入来输出任务期望的答案。该方式将下游任务进一步和自然语言形式对齐，能显著提升模型对未知任务的泛化能力。
https://mp.weixin.qq.com/s/vz6x5n8tGKSErwS-_bQY2A
ChatGPT三个关键技术相关推荐
- Instagram个性化推荐工程中三个关键技术是什么？
作者 | Ivan Medvedev,Haotian Wu,Taylor Gordon 译者 | 陆离 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) [导语]近期,Face ...
- 了解一下智能机器人中，用到的三项关键技术
工业机器人属于智能机器人的一种,智能机器人发展迅速,下面跟随小编一起,了解一下智能机器人中用到的三大关键技术吧. 一.多传感器信息融合 多传感器信息融合技术是近年来十分热门的研究课题,它与控制理论.信 ...
- 德勤《全球AI发展白皮书》出炉！八大新趋势，三个关键技术一文扫尽【附下载】...
来源:智东西(zhidxcom) 数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+ ...
- 图解通信原理与案例分析-23：5G NR的三大场景、四大基本特征、三组关键技术、两大网络架构演进、八大组网方案
目录 第一章 移动通信发展路径 第二章 5G三大应用场景(外在服务) 2.1 eMBB 增强移动宽带 2.2 URLLC 超可靠低时延通信 2.3 mMTC 海量机器类通信 第三章 5G的四大特 ...
- 德勤全球AI发展白皮书：八大新趋势+三个关键技术
关注ITValue,看企业级最新鲜.最具价值报道! 图片来源@视觉中国 | 文章来源@世界人工智能大会 | 前沿导读:目前AI已在金融.医疗.安防等多个领域实现技术落地,且应用场景也愈来愈丰富,正在 ...
- 复旦邱锡鹏：深度剖析 ChatGPT 类大语言模型的关键技术
内容来源:ChatGPT 及大模型专题研讨会 分享嘉宾:复旦大学教授 邱锡鹏 分享主题:<对话式大型语言模型> 转载自CSDN稿件 求职/进NLP群->加入NLP交流群 ChapGP ...
- 浅谈ChatGPT的关键技术与落地发展
分享嘉宾 | 刘焕勇 文稿整理 | William 1.从大规模语言模型看ChatGPT的起源与本质 ChatGPT可以拆开分为Chat和GPT去理解,前一个表示一种应用形式,后一个是生成式的模型.在 ...
- 新能源关键技术预见的研究
来源:微信公众号科学家,原载于<今日科苑>2020年第11期 作者:刘进萍.卢世刚 1. 引言 新能源是指采用新技术和新材料正在开发利用的新型能源,既包括风能.太阳能.生物质能等可再生能源 ...
- 增强现实系统的三大关键技术是什么？
来源:VR村 增强现实系统的主要任务是进行真实世界和虚拟物体的无缝融合,需要解决真实场景和虚拟物体的合成一致性问题.为了确保真实世界和虚拟对象的无缝融合,根据Ronald Azuma对增强现实技术的定 ...
最新文章
- JSP中文乱码问题终极解决方案
- ubuntu部署postgreSQL数据库
- tab使用 TabActivity TabHost Tabspec常用方法
- Java Servlet API中文说明文档
- nginx+uWSGI + django部署项目
- BZOJ1041:[HAOI2008]圆上的整点(数论)
- Vlookup函数多返回值处理
- HDU 4511 小明系列故事——女友的考验 （AC自动机 + DP）题解
- 程序相关概念及OS Linux发行版
- Info.plist信息
- Linux 内核源码获取
- Delphi7 请求webservice 方法。
- 使用LOIC 对新搭建的网站迚行DDOS攻击
- 广州地铁线路查询程序C语言,c语言广州地铁系统报错，帮帮忙看一看哈？
- dnf喇叭怎么设置不显示服务器,《DNF》屏蔽广告喇叭方法 广告喇叭怎么关掉
- 又有朋友被骗入传销了！
- refresh是什么？Spring refresh的12个步骤
- 【JAVA】-- 黄金矿工小游戏（二）（实现思路+每步代码）
- 德鲁克：卓有成效的管理者，一次只做一件事
- 永信至诚：乌镇世界互联网大会闭幕 网络安全人的使命刚刚启航