python简单实现注意力机制

import numpy as np
import torch.nn as nn
from sklearn.metrics.pairwise import cosine_similaritysoftmax = nn.Softmax()#设置查询向量和待查询向量
q = np.array([[1,2,3]])#使用cosine_similarity函数必须为二维向量
v = np.array([[1,2,3],[4,5,6]])#计算q和v中每个向量之间的attention得分，此处使用余弦相似度计算，可以采取其他多种计算方式
sim = cosine_similarity(q,v)#对计算得到的attention得分进行softmax归一化
softmax_sim = softmax(torch.tensor(sim[0]))#依据attention对v中的每一个向量进行加权求和
attention = 0
for i in range(v.shape[0]):attention += v[i] * np.array(softmax_sim[i])#加权求和后取平均
attention = attention / v.shape[0]

python简单实现注意力机制相关推荐

学习总结——注意力机制(transformer、DETR)
学习总结--注意力机制初探注意力通道注意力空间注意力 CV中基本注意力机制 NLP中的注意力机制自注意力机制 DETR 参考文献初探注意力我们知道图片可以通过提取特征进行分类.目标检测等后 ...
【论文导读】ICDM2018｜SASRec---基于自注意力机制的序列推荐（召回）
前言本次分享2018年发表在ICDM上的论文----「Self-Attentive Sequential Recommendation」.主要是应用self-attention机制来做一个序列推荐, ...
通道注意力机制 cnn keras_【CV中的Attention机制】简单而有效的CBAM模块
前言: CBAM模块由于其使用的广泛性以及易于集成得到很多应用.目前cv领域中的attention机制也是在2019年论文中非常火.这篇cbam虽然是在2018年提出的,但是其影响力比较深远,在很多领 ...
ciaodvd数据集的简单介绍_基于注意力机制的规范化矩阵分解推荐算法
随着互联网技术的发展以及智能手机的普及, 信息超载问题也亟待解决.推荐系统[作为解决信息超载问题的有效工具, 已被成功应用于各个领域, 包括电子商务.电影.音乐和基于位置的服务等[.推荐系统通过分析用 ...
【抠图中的注意力机制】HAttMatting---让抠图变得如此简单！
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要9分钟 Follow小博主,每天更新前沿干货 [导读]图像抠图(Image Matting)是一个无论在工业界或者视觉研究领域都有非常重要价值 ...
【python】注意力机制代码
every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?type=b ...
Python 实现注意力机制
作者|李秋键出品|AI科技大本营(ID:rgznai100) 引言随着信息技术的发展,海量繁杂的信息向人们不断袭来,信息无时无刻充斥在四周.然而人类所能接收的信息则是有限的,科研人员发现人类视觉系 ...
注意力机制QKV的作用简单易懂
关于注意力机制,一直都了解的比较浅显,只知道怎么去计算,但是具体算出来的怎么就体现了词跟词之间的关系一点都不清楚. 后来在b站上看到一个讲解transformer的视频,里边给了一个特别简单易懂的解释 ...
深度学习中的注意力机制（三）
作者 | 蘑菇先生来源 | NewBeeNLP原创出品深度学习Attenion小综述系列: 深度学习中的注意力机制(一) 深度学习中的注意力机制(二) 目前深度学习中热点之一就是注意力机制(Att ...

python简单实现注意力机制

python简单实现注意力机制相关推荐

最新文章

热门文章