注意力机制中的Q、K和V的意义

以翻译为例：

source:我是中国人

target: I am Chinese

比如翻译目标单词为 I 的时候，Q为I

而source中的 “我” “是” “中国人”都是K，

那么Q就要与每一个source中的K进行对齐（相似度计算）；"I"与"我"的相似度，"I"与"是"的相似度；"I"与"中国人"的相似度；

相似度的值进行归一化后会生成对齐概率值（“I"与source中每个单词的相似度（和为1）），也可以注意力值；

而V代表每个source中输出的context vector；如果为RNN模型的话就是对应的状态向量；即key与value相同；

然后相应的V与相应的P进行加权求和，就得到了context vetor；

从网上找到了一张图更能证明我的理解的正确性；

阶段1中的F函数是一个计算得分的函数；比如可以用前馈神经网络结构进行计算得分：

这里的v与上面的V是不一样的，这属于一个单隐藏层的前馈神经网络；v属于隐藏层激活后的一个计算得分的权重系数矩阵；

w属于激活前的权重系数矩阵；

这里应该是输出神经元为一个得分值；所以需要多个前馈神经网络同时计算每个hi的得分；与我预想的不同，以为一个前馈神经网络就可以输出所有对应的得分，即输出层的维度是与input序列长度一样；（目前的理解）；为什么不与预想的一致呢？

然后对所有得分进行归一化，一般选择softmax方法；让权重系数为1

第二阶段：将hi与对应的权重系数相乘得到一个context vector；即注意力值；

注意力机制中的Q、K和V的意义相关推荐

通俗理解注意力机制中的Q、K和V表示的具体含义
https://www.jianshu.com/p/7a61533fd73b 通俗理解讲解一以翻译为例 source:我是中国人 target: I am Chinese 比如翻译目标单词为 I ...
深度学习attention机制中的Q,K,V分别是从哪来的？
提问:找了各种资料,也读了论文原文,都是详细介绍了怎么把Q,K,V通过什么样的运算得到输出结果,始终没有一个地方有解释Q,K,V是从哪来的?一个layer的输入不就是一个tensor吗,为什么会有Q, ...
《Attention Is All You Need》注意力机制公式中Q,K,V的理解
一.概述 <Attention Is All You Need>是一篇关于注意力机制里程碑的文章,从2017年发表至今2020年7月已经获得了上万的引用.该文的两大亮点一是提出了一个几乎仅 ...
由注意力机制中scaled sqrt(dk)操作联想到期望与方差的本质推导
在注意力机制文章Attention Is All You Need中,作者在计算dot-product attention时,引入了一个scaled因子,即之所以引入scaled因子,是让数据符合0 ...
【深度好文】ICLR 2022 | cosFormer：重新思考注意力机制中的Softmax
关注公众号,发现CV技术之美导读:Transformer在自然语言处理.计算机视觉和音频处理方面取得了巨大成功.作为其核心组成部分之一,Softmax Attention模块能够捕捉长距离的依赖关系 ...
通俗易懂：Attention中的Q、K、V是什么？怎么得到Q、K、V？
说一下Attention中的QKV是什么,再举点例子说明QKV怎么得到.还是结合例子明白的快. Attention中Q.K.V是什么? 首先Attention的任务是获取局部关注的信息.Attenti ...
Attention机制中 Q、K、V分别从哪里来？
在深度学习中,尤其是自然语言处理领域,Attention 机制已经成为一种非常重要的方法.它的核心思想是根据输入序列中的每个元素与当前元素的相关性来分配不同的权重,从而实现对输入序列的动态聚焦.在 A ...
transformer注意力机制的理解（Q,K,V,dk）
Attention公式: 上面这个注意力公式可以理解为是算 V 的加权后的表示权重就是V前面的所有部分, 其中 softmax 可以使得权重概率分布和为1. 其中算的就是注意力的原始分数(其实也 ...
神经网络注意力机制 Q K V 理解
注意力机制公式为了简单假定 Q矩阵 K矩阵一样 Q K转置 ...

注意力机制中的Q、K和V的意义

注意力机制中的Q、K和V的意义相关推荐

最新文章

热门文章