收藏 | Transformers资料汇总!从原理到应用
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
仅作学术分享,不代表本公众号立场,侵权联系删除
转载于:作者:Elvis,来源:AI公园
AI博士笔记系列推荐
周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接
导读
从浅入深学习Transformer的资料汇总。
Transformers 加速了自然语言处理(NLP)任务的新技术和模型的发展。虽然它主要用于NLP任务,但现在它被大量应用于处理计算机视觉任务。这使它成为一个非常重要的技术。
我知道很多机器学习和NLP的学生和从业者都非常热衷于学习Transformers 。因此,我保存了一份资源和学习材料的配方,帮助学生了解Transformers的世界。
首先,在这篇文章中,我准备了一些材料链接,用于更好地从头开始理解和实现transformer模型。
写这篇文章的原因是这样我就可以有一个简单的方法来继续更新学习材料。
???? 高层次介绍
首先,关于Transformers的非常高层次的介绍。一些值得一看的参考资料:
???? https://theaisummer.com/transformer/
???? https://hannes-stark.com/assets/transformer_survey.pdf
???? Transformer 图解
Jay Alammar)的解释很特别。一旦你对Transformer有了高层次的理解,你就可以跳到下面这个流行的关于Transformer的图解说明:
???? http://jalammar.github.io/illustrated-transformer/
???? 技术汇总
此时,你可能正在寻找Transformers的技术摘要和概述。Lilian Weng的博文是一个宝藏,提供了简洁的技术解释/总结:
???? https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html
???????????? 实现
理论之后,检验知识是很重要的。我通常喜欢更详细地理解事物,所以我更喜欢从头开始实现算法。对于实现Transformers,我主要依赖于这个教程:
???? https://nlp.seas.harvard.edu/2018/04/03/attention.html
???? Attention Is All You Need
本文由Vaswani等人介绍了Transformer 的结构。在你有一个高层次的理解和想要进入细节后再读它。为了深入研究,请注意论文中的其他参考文献。
???? https://arxiv.org/pdf/1706.03762v5.pdf
???????????? 应用 Transformers
在学习和理解Transformers背后的理论一段时间后,你可能会有兴趣将它们应用到不同的NLP项目或研究中。现在,你最好的选择是HuggingFace的Transformers库。
???? https://github.com/huggingface/transformers
—END—
英文原文:https://elvissaravia.substack.com/p/learn-about-transformers-a-recipe
end
我是王博Kings,一名985AI博士,在Github上开源了机器学习、深度学习等一系列手推笔记,获得了不少同学的支持。
这是我的私人微信,还有少量坑位,可与相关学者研究人员交流学习
目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
王博Kings 的公众号,欢迎关注,干货多多
王博Kings的系列手推笔记(附高清PDF下载):
博士笔记 | 周志华《机器学习》手推笔记第一章思维导图
博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”
博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”
博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”
博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)
博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(上)
博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(下)
博士笔记 | 周志华《机器学习》手推笔记第九章聚类
博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习
博士笔记 | 周志华《机器学习》手推笔记第十一章特征选择与稀疏学习
博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论(上)
博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论(下)
博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习
博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型
点个在看支持一下吧
收藏 | Transformers资料汇总!从原理到应用相关推荐
- Transformers资料汇总!从原理到应用
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:Elvis,来源:AI公园 导读 从浅入深学习Transforme ...
- 【收藏清单】AI学习资料汇总——你想要的AI资源,这里都有
本文汇总了TinyMind站内AI资料类热门文章TOP10,欢迎大家各取所需.来源:https://www.tinymind.cn/ 1.[AI入门者必看]--人工智能技术人才成长路线图 入门AI的两 ...
- 51单片机c语言tlc549,tlc549中文资料汇总_tlc549引脚图及功能_工作原理_特性参数及典型应用电路程序...
一.tlc549中文资料汇总-tlc549介绍 TLC549是8位串行A/D转换器芯片,可与通用微处理器.控制器通过CLK.CS.DATAOUT三条口线进行串行接口.具有4MHz片内系统时钟和软.硬件 ...
- [转]机器学习和深度学习资料汇总【01】
本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learn ...
- APS审核经验+审核资料汇总——计算机科学与技术专业上海德语审核
APS审核经验+审核资料汇总--计算机科学与技术专业上海德语审核 1.APS是什么 德国驻华使馆文化处留德人员审核部(简称APS)成立于2001年7月,是由德国驻华使馆文化处和德意志学术交流中心(DA ...
- IM开发宝典:史上最全,微信各种功能参数和逻辑规则资料汇总
1.引言 IM应用的初学者们,在补全了各种基础技术知识后(如果您仍不具备这些知识,建议马上阅读<新手入门一篇就够:从零开发移动端IM>),在动手编码实践时,很多时候纠结的并不是功能该如何实 ...
- 机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
- Android系统学习(37)---Android知识点及资料汇总
Android知识点及资料汇总 废话不多说,直接上总结: Android入门方法和经验之谈 如何自学 Android 编程? 如何零基础学习安卓开发? 我是如何自学,资料分享 一张Android学习的 ...
- 机器学习深度学习经典资料汇总
小编都深深的震惊了,到底是谁那么好整理了那么多干货性的书籍.小编对此人表示崇高的敬意,小编不是文章的生产者,只是文章的搬运工. <Brief History of Machine Learnin ...
最新文章
- OpenCV 图像平移
- 后台开发技术--接入层设计
- 词汇量贫乏只会说yes、no?试试这些高级感替代词!
- 前端HTML5css3阴影凹凸文字
- 猿题库 iOS 客户端架构设计-唐巧
- 文字超出两行 则显示。。。
- Python(1)-源起、设计目标、设计哲学、特点
- 写python笔记本推荐_写个python程序帮你清理垃圾
- 在C#中使用反射的简单例子
- 网络机房利用()将多台计算机,2020现代教育技术章测试答案.doc
- php生成 优惠券 激活码
- xshell的一些常用配置
- 使用Eclipse,Kemulator模拟器配置J2ME工程
- 为何现在只剩下 风吹乱我的发
- Userscript+ 去除广告
- git 将本地master分支代码提到远程develop分支
- UEStudio中进行文件编码转换
- MFC 滚动显示图片
- 【个人吐槽】:你为什么写
- java 随机16位随机数字_随机生成防猜不重复的16位纯数字序列号【快速且高性能】...
热门文章
- pdfbox 第一页加内容_Java使用PDFBox操作PDF文件获取页码、文章内容、缩略图
- bh1750采集流程图_基于MSP430和CC2530的温室大棚数据采集系统设计
- 创朵计算机维修,创建第一个计算机监控软件服务
- mysql 32k 限制,MySQL之最大和最小
- java 最大子数组_[剑指offer题解][Java]连续子数组的最大和
- form怎么加ion_企业微信裂变该怎么做?一份裂变1000+社群裂变方案的底层逻辑
- windows服务器安装nginx
- 将堆栈异常返回前端显示
- mysql 实例名_不为人知的MySQL高可用复制管理工具——Orchestrator简介
- Java自动生成增量补丁自动部署_java-Hibernate正在为表生成自动增量交替ID