Muti-head self attention

Positional Encoding

No position information in self attention

each position has a unique position vector e^i

Truncated self attention 并不需要看整句话，只需要考虑小范围数据，加快训练速度

self attention 适用于输入为 vector set

影像也可以看成一个 vector set ,每一个pixel 都可以看成一个vector

CNN是简化版的 self attention, CNN相对是小的 model 适合数据集小的情况

CNN 的model小，弹性小，适合数据比较小的情况

self attention 比 RNN更平行处理输入数据，运算速度更快

很多架构从 RNN改成 self attention

self attention 变形很多，运算量非常大

李宏毅 Attention相关推荐

【李宏毅2020 ML/DL】P53-55 Conditional Generation by RNN Attention Pointer Network Recursive
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
Monotonic Chunkwise Attention(MoChA)——李宏毅人类语言处理
其是想在attention上做一些改变,我们可以把他想成是动态的移动我们的window. here?:吃两个输入,z0和h,输出Yes/No,选择是否将window放在这里,如果No的话往右移动. 在 ...
attention seq2seq transformer bert 学习总结 _20201107
https://blog.csdn.net/weixin_44388679/article/details/102575223 Seq2Seq原理详解一文读懂BERT(原理篇) 2018年的10月1 ...
[深度学习] 自然语言处理 --- 1.Attention
目录 Attention简介 Encoder-Decoder框架 Attention模型 Attention 的优点 Attention 不同类型 1. 计算区域 2. 所用信息 3. 结构层次 4. ...
“李宏毅老师对不起，我要去追这门美女老师的课了” ，台大陈蕴侬深度学习课程最新资料下载...
估计很多同学看到台大首先想到是李宏毅老师的"深度学习人类语言处理"课程,不过这次我们说的是台湾大学陈蕴侬老师的"应用深度学习"课程,这门课程我们之前推荐过,不过 ...
【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...
Attention模型
李宏毅深度学习 https://www.bilibili.com/video/av9770302/?p=8 Generation 生成模型基本结构是这样的, 这个生成模型有个问题是我不能干预数据生成, ...
transformer中attention计算方式_Reformer: 局部敏感哈希、可逆残差和分块计算带来的高效...
最近要开始使用Transformer去做一些事情了,特地把与此相关的知识点记录下来,构建相关的.完整的知识结构体系, 以下是要写的文章,本文是这个系列的第九篇: Transformer:Attenti ...
【必收藏】台大李宏毅老师课程 | 资源汇总、笔记总结与索引
2020年7月20日至2020年8月18日,我刷完了台大李宏毅老师的深度学习/机器学习相关课程,我分为了 64 个大课时,记录了 64 篇笔记. 我对于李老师课程感到惊讶又欣喜: 惊讶在于,李老师能把 ...

李宏毅 Attention

Muti-head self attention

Positional Encoding

李宏毅 Attention相关推荐

最新文章

热门文章