Transformers资料汇总,从概要到原理到应用
点击上方,选择星标,每天给你送干货!
转载自:AI公园
作者:Elvis
编译:ronghuaiyang
导读
从浅入深学习Transformer的资料汇总。
Transformers 加速了自然语言处理(NLP)任务的新技术和模型的发展。虽然它主要用于NLP任务,但现在它被大量应用于处理计算机视觉任务。这使它成为一个非常重要的技术。
我知道很多机器学习和NLP的学生和从业者都非常热衷于学习Transformers 。因此,我保存了一份资源和学习材料的配方,帮助学生了解Transformers的世界。
首先,在这篇文章中,我准备了一些材料链接,用于更好地从头开始理解和实现transformer模型。
写这篇文章的原因是这样我就可以有一个简单的方法来继续更新学习材料。
???? 高层次介绍
首先,关于Transformers的非常高层次的介绍。一些值得一看的参考资料:
???? https://theaisummer.com/transformer/
???? https://hannes-stark.com/assets/transformer_survey.pdf
???? Transformer 图解
Jay Alammar)的解释很特别。一旦你对Transformer有了高层次的理解,你就可以跳到下面这个流行的关于Transformer的图解说明:
???? http://jalammar.github.io/illustrated-transformer/
???? 技术汇总
此时,你可能正在寻找Transformers的技术摘要和概述。Lilian Weng的博文是一个宝藏,提供了简洁的技术解释/总结:
???? https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html
???????????? 实现
理论之后,检验知识是很重要的。我通常喜欢更详细地理解事物,所以我更喜欢从头开始实现算法。对于实现Transformers,我主要依赖于这个教程:
???? https://nlp.seas.harvard.edu/2018/04/03/attention.html
???? Attention Is All You Need
本文由Vaswani等人介绍了Transformer 的结构。在你有一个高层次的理解和想要进入细节后再读它。为了深入研究,请注意论文中的其他参考文献。
???? https://arxiv.org/pdf/1706.03762v5.pdf
???????????? 应用 Transformers
在学习和理解Transformers背后的理论一段时间后,你可能会有兴趣将它们应用到不同的NLP项目或研究中。现在,你最好的选择是HuggingFace的Transformers库。
???? https://github.com/huggingface/transformers
英文原文:https://elvissaravia.substack.com/p/learn-about-transformers-a-recipe
说个正事哈
由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:
(1)点击页面最上方“深度学习自然语言处理”,进入公众号主页。
(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。
感谢支持,比心。
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
推荐两个专辑给大家:
专辑 | 李宏毅人类语言处理2020笔记
专辑 | NLP论文解读
专辑 | 情感分析
整理不易,还望给个在看!
Transformers资料汇总,从概要到原理到应用相关推荐
- Transformers资料汇总!从原理到应用
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:Elvis,来源:AI公园 导读 从浅入深学习Transforme ...
- 收藏 | Transformers资料汇总!从原理到应用
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:作者:Elvis,来源:AI公园 AI博士笔记系列推荐 周志 ...
- 51单片机c语言tlc549,tlc549中文资料汇总_tlc549引脚图及功能_工作原理_特性参数及典型应用电路程序...
一.tlc549中文资料汇总-tlc549介绍 TLC549是8位串行A/D转换器芯片,可与通用微处理器.控制器通过CLK.CS.DATAOUT三条口线进行串行接口.具有4MHz片内系统时钟和软.硬件 ...
- [转]机器学习和深度学习资料汇总【01】
本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learn ...
- APS审核经验+审核资料汇总——计算机科学与技术专业上海德语审核
APS审核经验+审核资料汇总--计算机科学与技术专业上海德语审核 1.APS是什么 德国驻华使馆文化处留德人员审核部(简称APS)成立于2001年7月,是由德国驻华使馆文化处和德意志学术交流中心(DA ...
- 机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
- 转【重磅干货整理】机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
原文出处:http://blog.csdn.net/zhongwen7710/article/details/45331915 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决 ...
- 第16届智能小车用AURIX™ 资料汇总
Hi,同学们!第16届智能小车用英飞凌AURIX™ 32位单片机TC212, TC264, TC364, TC377所需的 各类官方资料汇总 在此. 请大家持续关注,我们会陆续在此更新. ➤大赛简介及 ...
- Redis资料汇总专题
原文地址:http://bbs.chinaunix.net/thread-3672734-1-1.html 很多朋友反映,说NoSQLFan上的资料不少,但是要找到自己实用的太难,于是萌生做这样一个专 ...
- ICA处理脑电资料汇总
如何识别ICA成分 ICA处理后,如何判断眼电.心电等成分? 结合matlab代码案例解释ICA独立成分分析原理 Scott等大神的33篇ICA独立成分分析论文汇总 ICA独立成分分析去除EEG伪影 ...
最新文章
- 简单的批处理命令(一)
- 14.IDA-XREF(交叉引用)概述
- Linux 运行进程实时监控pidstat命令详解
- mysql在cmd命令行下的相关操作
- 监控——《微服务设计》读书笔记
- JDK8 集合排序 xxxList.stream.sorted(...)
- oracle表空间 设置,Oracle表空间怎么设置和管理
- 钉钉怎么查看收到的文件 钉钉查看文件的方法
- Django在根据models生成数据库表时报 __init__() missing 1 required positional argument: 'on_delete'
- python随机发红包_python 微信红包随机金额
- hive开启kerberos-beeline连接
- iOS:延时执行的三种方式
- 一篇让你看懂卷积神经网络
- 什么情况下使用多线程
- 关于Symantec企业级防病毒软件的版本历史
- 深入浅出、通俗易懂的讲解CAN bus
- 2020-12-24
- 原始Young不等式
- 使用pathogen安装vim插件nerdtreee
- 【matlab】【Datcom】气动解算软件win10报错解决办法及运行交互示例
热门文章
- 基础训练 龟兔赛跑预测
- 从点击一个链接到浏览器显示页面,这个过程中发生了什么?
- 关于字符编码的一点学习。
- 浏览器是如何工作的系列:页面布局
- Jmeter打开url时提示“请在微信客户端打开链接问题”
- Docker 容器启动 查看容器状态 - 四
- 通过在jquery中添加函数发送ajax请求来加载数据库数据,以json的格式发送到页面...
- MyBatis -- 对表进行增删改查(基于注解的实现)
- ZipArchive是一个开源的zip开发包工具。
- AutoMapper不用任何配置就可以从dynamic(动态)对象映射或映射到dynamic对象。