注意力机制并不是关注输入的位置

问题：注意力机制如果关注的输入的位置，那么本来很多模型是就能关注位置信息的，又怎么需要注意力机制呢？

比如说：比如说输入向量每个位置赋予不同的权重，自然内容顺序不同，自然就会导致结果不同，位置的作用就显现了出来；

注意力机制本质上关注的是内容，比如说阅读一个句子，它的关键词不是由位置决定的，而是由它的内容决定的；关键词可以是任何位置，所以跟位置无关；本质是动态给予每个词一个权重，进行聚焦，靠的是内容；从现实问题来看，注意力机制必须有这位的功能，抓住主要矛盾，才能取得好的效果；

从定义中也证明了我推论：

注意力机制并不是关注输入的位置相关推荐

【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
目录前言一.注意力机制:Attention 二.自注意力机制:Self-Attention 三.多头注意力机制:Multi-Head Self-Attention 四.位置编码:Positiona ...
从起源、变体到评价指标，一文解读NLP的注意力机制
作者 | yuquanle 转载自AI小白入门(ID:StudyForAI) 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意力机制起源 4.NLP中的注意力机制 5.Hierarchi ...
综述｜计算机视觉中的注意力机制
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨HUST小菜鸡@知乎来源丨https://zhuanlan ...
注意力机制原理及其模型发展和应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 Attention机制在近几年来在图像,自然语言处理等领域中都取得 ...
COCO新记录：60.6AP！微软提出采用注意力机制进行检测头统一的Dynamic Head
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达极市导读本文提出一种新颖的动态头框架,它采用注意力机制将不同的目标检测头进行统一.COCO数据集上实 ...
一篇了解NLP中的注意力机制
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 转自 | AI小白入门(公众号ID: StudyForAI) 作者 | yuquanle,985在读硕 ...
Transformer和自注意力机制Self-Attention详解和时间复杂度计算+Image Transformer简介
Transformer 背景注意力机制已经在编码器解码器模型中广泛应用,极大提升了模型性能.我们为什么不能尝试完全抛开RNN.CNN等传统结构,直接尝试使用注意力机制来捕捉输入和输出之间的依赖呢? ...
空间注意力机制sam_自己挖坑自己填，谷歌大改Transformer注意力，速度、内存利用率都提上去了...
考虑到 Transformer 对于机器学习最近一段时间的影响,这样一个研究就显得异常引人注目了. 机器之心报道,机器之心编辑部. Transformer 有着巨大的内存和算力需求,因为它构造了一个注 ...
如何理解自然语言处理中的注意力机制？ | 技术头条
作者 | yuquanle 责编 | 郭芮你的颜值及格没?人工智能测试? https://edu.csdn.net/topic/ai30?utm_source=csdn_bw 近些年来,注意力机制一 ...

注意力机制并不是关注输入的位置

注意力机制并不是关注输入的位置相关推荐

最新文章

热门文章