李宏毅机器学习（七）GPT的野望

前情提要

前面我们有说，BERT做的是什么？ Bert做的是填空题！ GPT做的是什么？做的是预测接下来要出现的Token是什么？它里面的结构有点像Transformer中的Decoder

GPT最有名的就是生成了一个关于独角兽的假新闻！同时也说明了它的作用就是可以写出一个文章

GPT系列很难去训练，因为太大了，也很难去fine-tune！但是GPT有一个很狂的想法：就是说我们只给你少量或者没有参考样本，在给出你提示后，让你去学习出正确的答案！

给出了42个任务！这些是42个任务的准确率！

Beyond Text

当然也可以用在不同的领域上了！

Image

BYOL：Bootstrap Your Own Latent（不知道为什么会Work！ Deep learning的神奇）
SimCLR

Speech

Audio Version/Bert 也可以补全语音

Speech GLUE- SUPERB

这是各种Self-supervised的模型！

李宏毅机器学习（七）GPT的野望相关推荐

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
目录 Self-Supervised Learning BERT BERT训练 masking input(随机遮盖一些输入单位) next sentence prediction(预测前后两个句子是 ...
201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）
视频部分: 视频7:使用帝国时代游戏解释Gradient Descent 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.co ...
资料分享：推荐一本《李宏毅机器学习》开源电子书！
背景今天在 github 上看到了 datawhale 发布的李宏毅机器学习笔记. https://datawhalechina.github.io/leeml-notes 其目录如下: P1 机 ...
【李宏毅机器学习】Classification_1 分类（p10）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Classification Probabilistic Gernerative Model 分类:概率遗传模型 ==**如何完成这个任务?**== = ...
李宏毅机器学习—读书笔记
李宏毅机器学习笔记(LeeML-Notes) leeml-notes 机器学习人工智慧(Artificial Intelligence)是我们想要达成的目标,希望机器可以跟人一样的聪明.机器学习(M ...
2021李宏毅机器学习笔记--21 Anomaly Detection
2021李宏毅机器学习笔记--21 Anomaly Detection(异常侦测) 摘要一.问题描述二.Anomaly异常三.Anomaly Detection(异常侦测)做法 3.1 Bina ...
【李宏毅机器学习CP1-3】(task1)机器学习简介分类|回归
文章目录 1.机器学习的过程 2.机器学习相关分类 3.选择合适的model,loss function 4.CP3 一.回归定义和应用例子回归定义应用举例二.模型步骤 Step 1:模型假设 ...
【李宏毅机器学习CP21】(task6)卷积神经网络
学习心得/总结 (1)CNN误差反向传播的细节可以参考<深度学习的数学>P200的5.5部分,还没看.task3的食物图片分类作业还在做--[李宏毅机器学习2021]卷积神经网络HW3-I ...
⭐李宏毅机器学习2020作业汇总
更新进度:■■■■■□□□□□□□□□□□□□□□|30% 李宏毅机器学习code 序号主题完成情况作业一 Linear Regression ✅ 作业二 Classification ✅ 作业 ...
2018-3-21李宏毅机器学习视频笔记（十二）--Backpropagation
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=14 复合函数求偏 ...