深入理解Attention及变种(二)
Meet and understand Attention
先来强烈吐槽一下CSDN的文本编辑器，垃圾、垃圾、垃圾，TMD太垃圾了！！！辛辛苦苦编辑好的博文突然就卡住了，格式什么的都变样了，心累。我只想说CSDN你再不努力，不好意思，我们就要抛弃你了，好自为之吧！！！今天是2018年12月21号，我们继续跟随小亮魔鬼的步伐在Attention大道上继续前进！这一部分内容非常重要，如果你前面深入理解Attention及变种(一)没看明白没关系，可以继续从这里开始，因为这里才是Attention的精髓！！！ 我是赵小亮，一枚NLP大道上的小白，今天我们一起来学Attention！用文字记载生活、用文字书写科研中的故事、用文字传播NLP领域的点点滴滴，你我共同成长！
AI大餐预告：本周小亮主要讲解Attention系列专题，大概有八大板块，从Attention Mechanism的起源、历史、变种、相关论文《Attention Is All You Need》以及实战，还有一些思考，带领大家一起吃Attention这顿大餐！
笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 深度学习 统计概率论
小亮的博客：https://legendtianjin.github.io/NextLegend.github.io/ ——2018.12.21于北洋
四、Attention Mechanism及其变种
今天我们就主讲Attention Mechanism及其变种，在这里你可以在传统的的Attention里面继续坚守，也可以在花式的Attention里面飞翔，注意不注意，关键在于你自己，注意力集中了，这里就懂了！！！(哈哈，是不是有点绕口令！) (PPT完整下载链接可以联系本人哈！或者查看小亮私人博客)
今天的深入理解Attention及变种(二)内容就主要包括这一部分:Attention Mechanism及其变种。同时，也是最重要的一部分！！！我们最后再来回顾一下哈！
从计算方式来讲，针对attention的变种主要有两种方式：
1.在attention 向量的加权求和计算方式上进行创新
(1) Soft attention、global attention、 动态attention
(2) Hard attention
(3) 静态attention
(4)“半软半硬”的attention （local attention）
(5)强制前向attention
2.在attention score（匹配度或者叫权值）的计算方式上进行创新
(1)点积attention score (Basic dot-product attention)
(2)乘积attention score(Multiplicative attention)
(3)加法attention score(Additive attention)
3. 1&2
(1) self attention
(2) key-value attention
(3) multi-head attention
AI大预告：Attention及变种(三)内容主要包括Attention Is All You Need论文讲解！我们尽情收看小亮为大家准备的下一篇博文！很重要！很重要！！很重要！！！同样，重要的事情说三遍，自己衡量哈！
深入理解Attention及变种(二)相关推荐
- 干货|理解attention机制本质及self-attention
点击上方"小白学视觉",选择加"星标"或"置顶"重磅干货,第一时间送达 上一篇,我们讲述了attention的知识,这篇接上篇,更加深入的理 ...
- 理解JavaScript继承（二）
理解JavaScript继承(二) 5.寄生式继承 function object(o) {function F() {} F.prototype = o; return new F(); }func ...
- 【见闻录系列】我所理解的搜索业务二三事
[见闻录系列]我所理解的搜索业务二三事 FexianXu 20220730 at Baidu Search Team 前言 之前笔者在博文[1]中谈到了在工作一年的过程中,笔者对"业务&qu ...
- 理解 Audio 音频系统二 之 audioserver AudioPolicyService
理解 Audio 音频系统二 之 AudioPolicyService 二.audioserver & AudioPolicyService + AudioPolicy 启动流程总结 1. A ...
- NMT实战理解Attention、Seq2Seq
最近在看NMT相关的研究,论文很多,每隔几个月就会有新的论文发出来,提出新的模型或者改进,作为小白,我觉得还是先搞懂一些基础理念,试着去实现最简单的模型,练练手. 本次以Pytorch的Transla ...
- 《深入理解计算机系统》实验二Bomb Lab
前言 <深入理解计算机系统>实验二Bomb Lab的下载和官网文档的机翻请看 <深入理解计算机系统>实验二Bomb Lab下载和官方文档机翻 用的调试工具是gdb,用到的指令如 ...
- 答案原文及理解解释！！二五鱼水八情深，四六相约二定来是什么意思指什么含义怎么理解答！！
答案原文及理解解释!!二五鱼水八情深,四六相约二定来是什么意思指什么含义怎么理解答!! 防火墙: 保证数据的安全性是继数据可用性之后的最为重要的一项工作防火墙作为公网和内网之间的保护屏障防火墙种类: ...
- 笔记：深入理解Linux内核（二）
笔记:深入理解Linux内核(二) 二零二一年十月二十四日 文章目录 笔记:深入理解Linux内核(二) 第二章:内存寻址 内存地址 硬件中的分段 段选择符和段选择器 段描述符 快速访问段描述符 分段 ...
- 深入理解attention机制
深入理解attention机制 1. 前言 2. attention机制的产生 3. attention机制的发展 4. attention机制的原理 5. attention的应用 参考文献 1. ...
- 【机器学习基础】(三)：理解逻辑回归及二分类、多分类代码实践
本文是机器学习系列的第三篇,算上前置机器学习系列是第八篇.本文的概念相对简单,主要侧重于代码实践. 上一篇文章说到,我们可以用线性回归做预测,但显然现实生活中不止有预测的问题还有分类的问题.我们可以从 ...
最新文章
- 如何通过SEO来提升网站转化率？
- SQL Server Mysql 对null值理解的不同
- Qt的qrc资源文件在Visual studio编译出的Qt程序中不能显示问题解决
- 前端学习（2741）：重读vue电商网站51之首页内容定制
- Android Service被系统回收的解决方法
- .NET Core 3 WPF MVVM框架 Prism系列之事件聚合器
- windows7原版iso镜像_一定收藏，常用操作系统原版下载地址整理，Win7 Win10 Deepin...
- 02：MongoDB操作
- NoSQL 数据库 简介
- Mac 版 QQ 音乐上线离线提示音的方法？
- 【数字信号调制】基于matlab GUI PCM编码调制【含Matlab源码 1018期】
- mysql主从同步搭建过程_mysql 主从复制搭建详细步骤
- uboot移植——命令体系
- EtherCAT xml 解析(不定时更新)
- 睡不着？用药成瘾？深受失眠困扰的北上广白领们必看
- 钟表维修管理系统技术解析(三) 工单录入
- JavaScript:实现AlphaNumericalSort字母数字排序算法（附完整源码）
- 捷配浅谈PCB叠层的概念、设计原则
- 基于python的Poisson-Gumbel 泊松耿贝尔复合极值分布实现
- SJ中的json 及多维json