前言

思想：让机器稍微了解人类的语言后，然后再针对具体的任务做训练。通过大量的无标注资料让机器先pre-train，然后用少量的有标注资料fine-tune。

哈哈，李老师讲了大家在硬凑芝麻街的任务来命名模型。时间顺序是LMo/BERT/ERNIE/Groover。

什么是预训练 What is pre-train model

核心思想：输入token得到vector。

岁月史书：

①过去是同样的token就会有同样的vector，比如Word2Vector（13年）/Glove（14年）。【这里可以看下向量表征，了解更详细的发展历程】

存在的问题：

不会有上下文间交互，无法处理一语多义

【李宏毅】Bert家族相关推荐
1. 模型压缩与蒸馏！BERT家族的瘦身之路
  点击上方,选择星标,每天给你送干货! 作者 | 许明整理 | NewBeeNLP公众号之前我们讨论了『模型压缩与蒸馏!BERT的忒修斯船』,算是一个开篇.本文继续讨论关于模型蒸馏(Distilli ...
2. 李宏毅 bert 讲解
  原始bert是干嘛的 bert就是transformer的encoder 输入seq,输出seq 先决定盖哪几个,再决定怎么盖展示原始的bert 然后输出输出的就是一个向量,里面就是词典所有的单词 ...
3. EdgeBERT：极限压缩bert
  这个世界上有两种极具难度的工程:第一种是把很平常的东西做到最大,例如把语言模型扩大成能够写诗写文写代码的 GPT-3:而另一种恰恰相反,是把很平常的东西做到最小.对于 NLPer 来说,这种 &quo ...
4. BERT大火却不懂Transformer？读这一篇就够了原版可视化机器学习可视化神经网络可视化深度学习...20201107
  20211016 调节因子 20211004 [NLP]Transformer模型原理详解 - 知乎论文所用 20210703 GPT模型与Transformer进行对比_znevegiveup1的 ...
5. 软硬兼施极限轻量BERT！能比ALBERT再轻13倍？！
  点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达文 | Sheryc_王苏源 | 夕小瑶的卖萌屋这个世界上有两种极具难度的工程:第一 ...
6. EdgeBERT：极限压缩，比ALBERT再轻13倍！树莓派上跑BERT的日子要来了？
  文 | Sheryc_王苏本文首发于NLP宝藏公号[夕小瑶的卖萌屋],疯狂暗示! 这个世界上有两种极具难度的工程:第一种是把很平常的东西做到最大,例如把语言模型扩大成能够写诗写文写代码的GPT-3: ...
7. BERT微调效果不佳？不如试试这种大规模预训练模型新范式
  BERT模型自发布至今已整整两年了,但是其余热仍未消减.从一经问世的轰动,简单应用/微调便可达到某个领域或者任务的SOTA效果:到如今的各种『被吊打』,BERT巨人肩膀上的新宠大致可以分为以下这么几类 ...
8. 李宏毅nlp学习笔记10：QA(Question answering）
  1.QA的基本流程: 问题的答案可能是明确的,也可能是有变化的. 答案给出的方式,可能是一个词,或者是一个单个的句子, 获取知识的来源,可以使文本,声音,搜索,视频. 答案形式部分: 2.输出的答案就 ...
9. 【深度学习人类语言处理】1 课程介绍、语音辨识1——人类语言处理六种模型、Token、五种Seq2Seq Model(LAS、CTC、RNN-T、Neural Transducer、MoChA)
  Deep Learning for Human Ianguage Processing 1. DLHLP-Introduction 1.1 概述 1.2 六种模型与应用 1.2.1 语音到文本 1.2 ...
最新文章
热门文章

【李宏毅】Bert家族

前言

什么是预训练 What is pre-train model

【李宏毅】Bert家族相关推荐

最新文章

热门文章