陋室快报 | BERT主流衍生语言模型-20211106

陋室快报

陋室快报是对陋室推荐栏目更新优化后的版本，更快更准的给大家推荐优质信息，频率预计是一周一次。敬请关注。栏目介绍：陋室快报栏目介绍。

近期，我再次总结了我的历史文章，累积起来有50w字，百余篇文章了，有兴趣可以拿来看看，获取方式：七夕清流，百余篇累计50w字文章合集发布。

往期回顾：

陋室快报 | 程序员节快乐！栏目介绍-20211024
陋室快报 | BERT学习指导-20211026

上一期给大家汇总了BERT基础相关的内容，这一期给大家讲一下BERT语言模型比较热门的衍生，以及一些讲的比较好的文章，供大家深入学习和参考。

专题论文解读

要想知道细节，肯定就要精读了，论文肯定是首要的，而想在论文基础上找些辅助或者是提炼，那可以看看这些文章的。当然，我没有全部列举，只是列了一下工业界或者是大家比较常听见的集中。

ALBERT

预训练模型-ALBERT：https://zhuanlan.zhihu.com/p/104733717

RoBERTa

RoBERTa 详解：https://zhuanlan.zhihu.com/p/103205929

XLNet

Google XLNet原理解读：https://zhuanlan.zhihu.com/p/70218096

T5

T5 模型：NLP Text-to-Text 预训练模型超大规模探索：https://zhuanlan.zhihu.com/p/88438851

MacBERT

NLP系列之预训练模型（三）：最强中文预训练模型MacBERT：https://zhuanlan.zhihu.com/p/356867198

NEZHA

NEZHA（哪吒）论文阅读笔记：https://zhuanlan.zhihu.com/p/100044919

蒸馏

自己之前有研究过BERT的蒸馏，所以积累了一些，之类只提两个比较有代表意义的吧：

DistillBert: Bert太贵？我便宜又好用：https://zhuanlan.zhihu.com/p/165516661
比 Bert 体积更小速度更快的 TinyBERT：https://zhuanlan.zhihu.com/p/94359189

陋室快报 | BERT主流衍生语言模型-20211106相关推荐

陋室快报 | BERT学习指导-20211026
[陋室推荐] 陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇文章了,有兴趣可以拿来看 ...
陋室快报-对比学习热文-20211115
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注.栏目介绍:陋室快报栏目介绍. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇 ...
陋室快报 | 近期好文分享-20211127
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注.栏目介绍:陋室快报栏目介绍. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇 ...
陋室快报 | 算法工程师的常用数据工具-20211127
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注.栏目介绍:陋室快报栏目介绍. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇 ...
陋室快报-语义表征的突破口——人脸识别-20211121
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注.栏目介绍:陋室快报栏目介绍. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇 ...
陋室快报 | 近期好文分享：CLUE最新发布KgCLUE，开放域对话，Prompt-29211212
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注.栏目介绍:陋室快报栏目介绍. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇 ...
陋室快报 | 程序员节快乐！栏目介绍-20211024
陋室快报陋室快报是对陋室推荐栏目更新优化后的版本,更快更准的给大家推荐优质信息,频率预计是一周一次.敬请关注. 近期,我再次总结了我的历史文章,累积起来有50w字,百余篇文章了,有兴趣可以拿来看看, ...
Bert算法：语言模型-BERT详细介绍
本文的目的是向NLP爱好者们详细解析一个著名的语言模型-BERT. 全文将分4个部分由浅入深的依次讲解. 1.Bert简介 BERT是2018年10月由Google AI研究院提出的一种预训练模型. ...
从NNLM到Bert，NLP语言模型发展概述
NNLM 主要内容:利用前n-1个词汇,预测第n个词汇提出了基于连续空间编码 + 神经网络的NNLM模型对于一个单词普遍采用的是one-hot编码方式,如果语料库的单词数目特别多,就会导致一个单词 ...