transformer：self-attention 自注意力机制详解

2024-05-19 19:16:18

self-attention 计算过程

Thinking 和 Machines是同一组输入（同一句话）中的某两个输入（某两个单词），x是上下文无关的词向量

1. 根据原词向量依次计算queries，Keys，Values

其中，W^Q，WK，W^V是待训练的参数

2. 计算scores

每个q_i都算出n个score，即(1,n)的scores向量
其中，d_k是超参数（这里取64），为了让后面的计算中具有稳定的梯度

3. 计算（能句子中的长依赖关系）的新向量

对于某个词向量，softmax（scores）即为所有词向量对该词向量的权重，将这些权重分别乘以各向量得到新向量。运算为(1，n)*(n,1)

那么最后能生成输入句子中单词与单词直接的权重矩阵，即注意力矩阵

注意encoder里面是叫self-attention，decoder里面是叫masked self-attention。

这里的masked就是要在做language modelling（或者像翻译）的时候，不给模型看到未来的信息。

详细来说，i作为第一个单词，只能有和i自己的attention。have作为第二个单词，有和i, have 两个attention。 a 作为第三个单词，有和i,have,a 前面三个单词的attention。到了最后一个单词dream的时候，才有对整个句子4个单词的attention。

论文 attention is all you need ：详解链接
https://mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70w

本文参考：
https://www.jianshu.com/p/e5dfc9e5d778

transformer：self-attention 自注意力机制详解相关推荐

注意力机制详解（Attention详解）
注意力机制与人眼类似,例如我们在火车站看车次信息,我们只关注大屏的车次信息,而忽略大屏外其他内容,从而导致钱包被偷... 注意力机制只关注重点信息,忽略不重要的信息,关注最核心的内容. 主要就是这个公 ...
注意力机制详解(小白入门)
文章目录产生原因注意力机制类型最大池化与平均池化的注意力机制注意力池化层次池化- 引入时序,更新V 循环池化引入时序更新Q 多头注意力池化基于多头注意力的变换器注意力机制的研究进展(待 ...
空间注意力机制和通道注意力机制详解
Attention机制在近几年来在图像,自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能. Attention机制本身也是符合人脑和人眼的感知机制,这次我们主要以计算机视觉领域为例, ...
论文笔记：BahdanauAttention和LuongAttention(注意力机制详解)
前言近日,阅读了两篇与attention机制相关的论文,为了防止看了就忘,写此文记录论文中一些要点,方便日后回顾,也为需要了解attention机制的朋友们提供一些参考. 两篇论文提出的attent ...
注意力机制详解（脉络版）
10.1 注意力提示 att有价值人类对att的使用 10.1.1 生物学中的注意力心理学中的双组件非自主性提示自主性提示 10.1.2 查询.键和值非自主性提示:使用 FC 或者是非参数 ...
注意力机制详解系列（三）：空间注意力机制
注意力机制详解系列（二）：通道注意力机制
注意力机制详解系列（一）：注意力机制概述
注意力机制详解系列（四）：混合注意力机制
注意力机制详解系列（五）：分支与时间注意力机制

最新文章

热门文章