注意力机制 神经网络_图注意力网络(GAT)
引言
作者借鉴图神经网络中的注意力机制,提出了图注意力神经网络架构,创新点主要包含如下几个:①采用masked self-attention层,②隐式的对邻居节点采用不同权重③介绍了多头注意力机制。 在作者的Introduction中,该论文提出的思路类似于MoNet,下一次分享一下这个算法。
模型介绍
该模型相比于GraphSage而言其实是比较容易理解的,即对邻居节点按照不同的概率加权运算。其输入是节点特征
在作者论文中,注意力机制函数为一单层前向神经网络,由权重向量
然后将结果施加非线性函数
那么据此推理,我们可以得到多头注意力机制运算方式:
其中,||表示拼接操作,表示将多个注意力头学习到的特征进行拼接。在论文中,作者采用的是加法求平均后进过非线性变换。公式如下:
为了方便大家的理解,这里将原文的图直接搬过来,一看就清晰了:
左图是单头注意力机制,右图是多头注意力机制,其中,不同颜色的线代表不同的注意力头。这样对照上面的公式一看,是不是很清晰明了。
与相关工作对比
作者在第2.2节将其所作工作和相关方面的算法进行对比,主要具备如下几个方面的优势。
1. 计算高效,计算可以并行。
2. 相比于GCN来说,为同一邻域的节点分配不同权重,可以扩充模型尺度
3. 模型权值共享
4. 相比于GraphSage而言,不需要固定采样尺寸,算法处理整个邻域
5. 采样节点特征计算相似度,而并非节点的结构特性,这样可以在不需要知道图结构的前提下计算。
此外作者也指出了图神经网络计算中的几个问题:
① GPU的计算性能在稀疏矩阵运算中并不一定由于CPU,甚至起到的效果更差。
②感受野的大小上限受模型深度影响。
③Skip-connection也许可以用于加深层数,解决过平滑等现象④图中的并行计算由于临近区域的高度重叠,也许导致许多的冗余计算。
实验
作者在实验方面采用的数据集分为了Transductive(直推式)学习、Inductive(归纳式)学习两个方面,这个大家写论文的时候也可以采用,效果好的放到一组。同时作者也将算法进行分类,例如GCN属于Transductive学习算法,而上一次分享的GraphSage属于Inductive学习算法。至于算法的复现也很简单,建议大家直接采用dgl算法库,可以参考其example中相关算法。本文直接测试cora数据,结果和论文相差无几
注意力机制 神经网络_图注意力网络(GAT)相关推荐
- 图神经网络 | (8)图注意力网络(GAT)
本篇博客要介绍的是图注意力网络(Graph Attention Networks,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现对不同邻居权重的自适应 ...
- 图神经网络与图注意力网络相关知识概述
#图神经网络# #图注意力网络# 随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据的重要研究领域.图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习 ...
- HAN:基于双层注意力机制的异质图深度神经网络
「论文访谈间」是由 PaperWeekly 和中国中文信息学会社会媒体处理专委会(SMP)联合发起的论文报道栏目,旨在让国内优质论文得到更多关注和认可. 图神经网络是近年来图数据挖掘领域的热门研究方向 ...
- ECCV 2018 | 美图云联合中科院提出基于交互感知注意力机制神经网络的行为分类技术...
以往注意机制模型通过加权所有局部特征计算和提取关键特征,忽略了各局部特征间的强相关性,特征间存在较强的信息冗余.为解决此问题,来自美图云视觉技术部门和中科院自动化所的研发人员借鉴 PCA(主成分分析) ...
- Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...
- 【动手深度学习-笔记】注意力机制(一)注意力机制框架
生物学中的注意力提示 非自主性提示: 在没有主观意识的干预下,眼睛会不自觉地注意到环境中比较突出和显眼的物体. 比如我们自然会注意到一堆黑球中的一个白球,马路上最酷的跑车等. 自主性提示: 在主观意识 ...
- 论文阅读_图注意力网络
介绍 英文题目:GRAPH ATTENTION NETWORKS 中文题目:图注意力网络 论文地址:https://export.arxiv.org/pdf/1710.10903.pdf 领域:知识图 ...
- 用卷积神经网络和自注意力机制实现QANet(问答网络)
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/ ,学习更多的机器学习.深度学习的知识! 在这篇文章中,我们将解决自然语言处理(具体是指问答)中最具挑战性 ...
- 基于注意力机制的双向长短期记忆网络的关系分类
Attention-Based Bidirectional Long Short-Term Memory Networks forRelation Classification 论文来源:https: ...
最新文章
- Matlab 方括号“[ ]”的作用
- ffmpeg推送摄像头rtmp流
- arduino的esp32程序无法上传_原装正版arduino uno R3无法上传程序
- Dubbo(一)之简介
- textbox matlab,matlab gui 编程文本框更新
- ios 上传图片失败 小程序_微信小程序ios端 使用ajaxSubmit上传图片失败,android没问题...
- weblogic进程自动关闭_手机总是清理内存?原来是6个设置没关,1秒关闭多用3年...
- SQL:postgresql中拼接字符串
- FISCO BCOS 确定性多合约并行(DMC)
- 【光学】基于matlab GUI光栅实验【含Matlab源码 1176期】
- Win11繁体中文字体显示不全如何解决?
- 已知三点求这三点构成三角形的外接圆圆心坐标
- 自然语言处理中的伪数据 by哈工大教授车万翔
- 白帽黑客必备的15个技能点
- c语言语法基础知识,英语语法_英语语法基础知识
- 【Proteus】动态数码管显示
- 双碑零基础意大利语学习 小白也能看懂的意大利语入门知识
- HDLBITS笔记15:组合逻辑之7420芯片
- 目标检测2——借Detectron2源码理解Anchors与RPN
- 河南大学2019计算机专业录取分数线,2019河南大学本科录取分数线(含历年录取分数线)...
热门文章
- php 多图上传编辑器,ThinkPHP5整合LayUI编辑器图片上传
- struct类型重定义 不同的基类型_C++构造数据类型
- 串口转换器的工作方式及通讯模式介绍
- PDH-SDH光端机指示灯具体含义介绍
- 3G-SDI光端机产品技术参数规格及产品应用领域
- 【渝粤教育】国家开放大学2018年秋季 2405T现代汉语(1) 参考试题
- 【渝粤题库】陕西师范大学210010 幼儿园管理学 作业(高起专、专升本)
- 中继(洪泛中继、定向中继)在无线通讯中的应用
- android studio ignore 模板,android studio git ignore
- Java实现最小二乘法线性拟合,传感与检测,单臂半桥全桥实验,江南大学自动化