前情提要

论文名称： Language Models are Few-shot learners

但是GPT-3的缺点在于，太过巨大！它有多大呢？原来最大的时候是Turing NLG，有17B，而GPT-3是它的10倍！

对GPT-3的评价：

GPT-3要干什么事呢？它是为了ZERO-shot的learning！所以你现在要训练你的BERT还是需要训练一些资料的！而GPT-3的目的就是说不再需要fine-tune，直接一个模型就解决所有！！！

GPT系列的野望

就是给出你问题，你在读了问题后就知道怎么解答这个试题！

具体一点，该模型主要做了三个事！ GPT-3的目的直接zero-shot，而不需要例子，只需要给出描述就可以了！在论文中就叫做“In-context” learning！！

后面这个是GPT系列的准确率！准确率是提高了，但是这种复杂度的提高值不值得就另当别论了！

应用

CLosed Book QA

就是说不需要读特定的文章就可以回答问题！ GPT-3的效果可以超过经过Fine-tuned的最好性能！

SuperGLUE上

效果也是还行的

Generated new articles

只给出标题来生成文章！横轴是参数的量，纵轴是准确率，就是能够骗过模型的准确率！准确率越低，说明人分辨生成的新闻能力越差！

造句

数学问题

后面都是表现差的例子：

NLI（就是输入两个句子，看这两个句子是不是有矛盾）

Turing Advice Challenge

这是一个比赛，让看模型理解人的语言到什么程度！内容一般是一个人提出自己的生活中的问题，然后让机器人回答怎么解决！

可以看到生成可用建议的准确度还不是很高！只有9%，就算最好40%

图像上的应用： gpt： raster order

就是让图像自己有创造力，自己创造故事！

李宏毅机器学习（十）GPT-3相关推荐

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
目录 Self-Supervised Learning BERT BERT训练 masking input(随机遮盖一些输入单位) next sentence prediction(预测前后两个句子是 ...
2018-3-21李宏毅机器学习视频笔记（十二）--Backpropagation
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=14 复合函数求偏 ...
2018-3-20李宏毅机器学习笔记十----------Logistic Regression
上节讲到:既然是一个直线型,只需要求解w和b.为何还要那么费劲的使用概率??? 视频:李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilib ...
资料分享：推荐一本《李宏毅机器学习》开源电子书！
背景今天在 github 上看到了 datawhale 发布的李宏毅机器学习笔记. https://datawhalechina.github.io/leeml-notes 其目录如下: P1 机 ...
python线性回归预测pm2.5_线性回归预测PM2.5----台大李宏毅机器学习作业1(HW1)
一.作业说明给定训练集train.csv,要求根据前9个小时的空气监测情况预测第10个小时的PM2.5含量. 训练集介绍: (1).CSV文件,包含台湾丰原地区240天的气象观测资料(取每个月前20 ...
李宏毅机器学习—读书笔记
李宏毅机器学习笔记(LeeML-Notes) leeml-notes 机器学习人工智慧(Artificial Intelligence)是我们想要达成的目标,希望机器可以跟人一样的聪明.机器学习(M ...
2021李宏毅机器学习笔记--21 Anomaly Detection
2021李宏毅机器学习笔记--21 Anomaly Detection(异常侦测) 摘要一.问题描述二.Anomaly异常三.Anomaly Detection(异常侦测)做法 3.1 Bina ...
【组队学习】【31期】李宏毅机器学习（含深度学习）
李宏毅机器学习(含深度学习) 航路开辟者:王茂霖.陈安东,刘峥嵘,李玲领航员:张菘淳航海士:王茂霖.吴振一基本信息开源内容:https://github.com/datawhalechina/ ...
李宏毅机器学习HW1
本博文主要是完成李宏毅机器学习HW1作业作业连接:https://ntumlta2019.github.io/ml-web-hw1/ 作业规则所有代码必须用python3.6编写允许所有pyth ...
⭐李宏毅机器学习2020作业汇总
更新进度:■■■■■□□□□□□□□□□□□□□□|30% 李宏毅机器学习code 序号主题完成情况作业一 Linear Regression ✅ 作业二 Classification ✅ 作业 ...

李宏毅机器学习（十）GPT-3