Transformers资料汇总!从原理到应用
↑↑↑关注后"星标"Datawhale
每日干货 & 每月组队学习,不错过
Datawhale干货
作者:Elvis,来源:AI公园
导读
从浅入深学习Transformer的资料汇总。
Transformers 加速了自然语言处理(NLP)任务的新技术和模型的发展。虽然它主要用于NLP任务,但现在它被大量应用于处理计算机视觉任务。这使它成为一个非常重要的技术。
我知道很多机器学习和NLP的学生和从业者都非常热衷于学习Transformers 。因此,我保存了一份资源和学习材料的配方,帮助学生了解Transformers的世界。
首先,在这篇文章中,我准备了一些材料链接,用于更好地从头开始理解和实现transformer模型。
写这篇文章的原因是这样我就可以有一个简单的方法来继续更新学习材料。
???? 高层次介绍
首先,关于Transformers的非常高层次的介绍。一些值得一看的参考资料:
???? https://theaisummer.com/transformer/
???? https://hannes-stark.com/assets/transformer_survey.pdf
???? Transformer 图解
Jay Alammar)的解释很特别。一旦你对Transformer有了高层次的理解,你就可以跳到下面这个流行的关于Transformer的图解说明:
???? http://jalammar.github.io/illustrated-transformer/
???? 技术汇总
此时,你可能正在寻找Transformers的技术摘要和概述。Lilian Weng的博文是一个宝藏,提供了简洁的技术解释/总结:
???? https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html
???????????? 实现
理论之后,检验知识是很重要的。我通常喜欢更详细地理解事物,所以我更喜欢从头开始实现算法。对于实现Transformers,我主要依赖于这个教程:
???? https://nlp.seas.harvard.edu/2018/04/03/attention.html
???? Attention Is All You Need
本文由Vaswani等人介绍了Transformer 的结构。在你有一个高层次的理解和想要进入细节后再读它。为了深入研究,请注意论文中的其他参考文献。
???? https://arxiv.org/pdf/1706.03762v5.pdf
???????????? 应用 Transformers
在学习和理解Transformers背后的理论一段时间后,你可能会有兴趣将它们应用到不同的NLP项目或研究中。现在,你最好的选择是HuggingFace的Transformers库。
???? https://github.com/huggingface/transformers
—END—
英文原文:https://elvissaravia.substack.com/p/learn-about-transformers-a-recipe
“整理不易,点赞三连↓
Transformers资料汇总!从原理到应用相关推荐
- 收藏 | Transformers资料汇总!从原理到应用
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:作者:Elvis,来源:AI公园 AI博士笔记系列推荐 周志 ...
- 51单片机c语言tlc549,tlc549中文资料汇总_tlc549引脚图及功能_工作原理_特性参数及典型应用电路程序...
一.tlc549中文资料汇总-tlc549介绍 TLC549是8位串行A/D转换器芯片,可与通用微处理器.控制器通过CLK.CS.DATAOUT三条口线进行串行接口.具有4MHz片内系统时钟和软.硬件 ...
- 第16届智能小车用AURIX™ 资料汇总
Hi,同学们!第16届智能小车用英飞凌AURIX™ 32位单片机TC212, TC264, TC364, TC377所需的 各类官方资料汇总 在此. 请大家持续关注,我们会陆续在此更新. ➤大赛简介及 ...
- Redis资料汇总专题
原文地址:http://bbs.chinaunix.net/thread-3672734-1-1.html 很多朋友反映,说NoSQLFan上的资料不少,但是要找到自己实用的太难,于是萌生做这样一个专 ...
- ICA处理脑电资料汇总
如何识别ICA成分 ICA处理后,如何判断眼电.心电等成分? 结合matlab代码案例解释ICA独立成分分析原理 Scott等大神的33篇ICA独立成分分析论文汇总 ICA独立成分分析去除EEG伪影 ...
- [转]机器学习和深度学习资料汇总【01】
本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learn ...
- 吉林大学 计算机图形学,吉林大学计算机图形学资料汇总.doc
吉林大学计算机图形学资料汇总 名词解释 *计算机图形学是指用计算机产生对象图形的输出的技术.更确切的说,计算机图形学是研究通过计算机将数据转换为图形,并在专门显示设备上显示的原理.方法和技术的学科. ...
- SQL中char varchar nchar nvarchar ntext区别和使用(资料汇总)
SQL中char varchar nchar nvarchar ntext区别和使用(资料汇总) 2008年10月14日 星期二 23:57 一.SQL中char varchar nchar nvar ...
- 电子测量与仪器第四版pdf_电子技术经典资料汇总:模电篇800M
电子技术经典资料汇总:模电篇800M,不仅有模电篇,还有其他的电子技术的资料汇总,基础资料1.6G,嵌入式开发12.9G,PCB设计篇等等都做了汇总的资料,在闯客网技术论坛上有电子工程师应有尽有的资料 ...
最新文章
- LINQ 学习路程 -- 查询操作 GroupBy ToLookUp
- 博士毕业后就被双一流高校直聘为教授,这位90后“土博”是怎么做到的?
- unrecognized font family iconfont2
- OpenGL 坐标系统(Perspective)
- mysql数据库基本操作总结与归纳
- SQL里学习通配符时LIKE和RLIKE的区别
- 系统要不要更新_手机经常弹出“系统更新”,到底要不要更新?用户:后悔已来不及...
- 单例模式以及在C#中的使用
- 【Android OpenGL ES 开发 (三)】Shader 扩展
- Unity界面插件NGUI基础教程
- 第8章 私服nexus
- 使用严苛模式打破Android4.0以上平台应用中UI主线程的“独断专行”
- haproxy配置代理tomcat和nginx_Nginx负载均衡配置实例
- ROS防止外网DDOS的最有效方法
- python迅雷下载任务出错_迅雷任务包含违规内容无法继续下载 迅雷任务出错修改host方法...
- Taro 3 正式版发布!京东推出开放式跨端跨框架方案,这些React、Nerv、Vue、jQuey都能支持上了!...
- 全球土壤湿度数据获取方法
- @Autowire和@Resource区别
- 基于python的马尔科夫链在股价预测中的应用(基于Tushare)
- 传说中的王八蛋~~~
热门文章
- java I/O总结(收藏)
- joomla网页无任何显示输出
- 【转】Flex4:利用HttpService与ASP.NET传输JSON数据(登录为例)
- 【青少年编程】绘制五角星
- LeetCode实战:删除排序数组中的重复项
- LeetCode实战:求众数
- 【建模必备】遗传算法的基本原理与步骤(选择)
- 前后端分离的探索(一)
- 详解 Python 如何将爬取到的数据分别存储到 txt、excel、mysql 中!
- 小冰拉开人生第二幕:AI时代的“Office”问世,你的虚拟男友“复活”了