图注意力网络(GAT)
一、图数据结构知识
图是指一系列相互连接的节点,且每个节点自己也具有一定的特征。如下图所示即一个典型的图结构。 该图一共有五个结点,每个结点有自己的特征Fi.另一方面,为了描述图的结构特点,常用邻接矩阵A和度矩阵D.其中,对于一个N个结点的图来说,邻接矩阵A为一个大小为N*N的对称矩阵,若两个结点i,j直接有连接,则Aij=Aji=1,否则为0.度矩阵D大小同样,除对角线上,其余位置的值均为0,Dii的值为与结点i直接连接的结点的数目。实际处理中还存在一种常见的矩阵拉普拉斯矩阵L,L=D-A。
二、图注意力机制
图注意力网络的关键即是图注意力层,图注意力层的处理对象即为整张图的每个结点,如对于N个结点,每个结点特征维度为F的一张图,通过图注意力层得到的输出即为N*F‘,其中F’为输出层的特征维度。
用h={h1,h2,h3,…hN}表示输入数据,其中hi是大小为F的向量。h‘={h’1,h’2,…h’N}表示输出,hi’为大小为F‘的向量。论文提出了图注意力层从输入计算每个结点的输出,入上图所示,与结点3相邻的结点有2,4,因此我们仅考虑这两个结点对于结点3输出的影响。为此提出了注意力系数eij来表示结点j对于结点i的影响。(注:eji !=eij,其表示结点j对于结点i的影响).由此为得到h’i,我们需要考虑与结点i相邻的所有结点对于结点i的注意力系数。因此我们得到如下的关键公式:
其中:sigmod表示一个非线性函数,Ni表示与结点i相邻的所有结点组成的域,hj表示结点j的特征向量,W为一个大小为F‘×F的权重矩阵。
再将eij的计算公式带入上式可得:
其中,LeakyReLU为非线性激活函数:y =x, x>=0 y=ax x<0
II表示将左右两个矩阵连接在一起,Whi形状为F’×1,连接后得到一个大小为2F‘×1的矩阵。a为一个大小为2F’的权重向量,因此两者相乘得到一个实数,最后得到一个数即注意力系数。
三、多头注意力机制
与RNN类似,图注意力层也可引入多头注意力机制这一方法
其计算公式稍微有点变化其中K表示k重注意力机制,Wk表示第k重的权重矩阵,其大小为为F‘/K ×F。这一过程可以有如下图所示:
不同的颜色表示不同的k值所对应的注意力系数。
四、个人总结
GAT网络主要是基于对邻接结点的处理而提出的注意力系数这一概念,不用对整个图进行遍历,比较容易理解。
图注意力网络(GAT)相关推荐
- 【图结构】之图注意力网络GAT详解
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] GATGATGAT源代码地址:https://github.com/Petar ...
- 图神经网络 | (8)图注意力网络(GAT)
本篇博客要介绍的是图注意力网络(Graph Attention Networks,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现对不同邻居权重的自适应 ...
- 【GNN】图注意力网络GAT(含代码讲解)
CSDN页面公式加载有问题,如果影响观看请戳本文的知乎版本:https://zhuanlan.zhihu.com/p/112938037 毫无疑问,图神经网络(Graph Neural Network ...
- GNN动手实践(二):复现图注意力网络GAT
参考论文:Graph Attention Networks 一.前言 GAT(图注意力网络)是GNNs中重要的SOTA模型,该模型是从空域角度来进行定义,能够用消息传递范式来进行解释.GAT与GCN最 ...
- 图注意力网络GAT - 《Graph Attention Networks》论文详解
目录 前言 正文 图注意力机制层(Graph Attentional Layer) 层的输入 注意力系数 归一化注意力系数 通过邻居节点更新自身节点 层的输出 GAT相比于先前研究的优势 附作者简介 ...
- 注意力机制 神经网络_图注意力网络(GAT)
引言 作者借鉴图神经网络中的注意力机制,提出了图注意力神经网络架构,创新点主要包含如下几个:①采用masked self-attention层,②隐式的对邻居节点采用不同权重③介绍了多头注意力机制. ...
- 图注意力网络(Graph Attention Network, GAT) 模型解读与代码实现(tensorflow2.0)
前面的文章,我们讲解了图神经网络三剑客GCN.GraphSAGE.GAT中的两个: 图卷积神经网络(GCN)理解与tensorflow2.0代码实现 GraphSAGE 模型解读与tensorflow ...
- DeepLearning | 图注意力网络Graph Attention Network(GAT)论文、模型、代码解析
本篇博客是对论文 Velikovi, Petar, Cucurull, Guillem, Casanova, Arantxa,et al. Graph Attention Networks, 2018 ...
- 147页详述「结构在神经网络中的复兴」,图注意力网络一作博士论文公开
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习>手 ...
- 图神经网络与图注意力网络相关知识概述
#图神经网络# #图注意力网络# 随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据的重要研究领域.图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习 ...
最新文章
- WIN2008系统的IIS7.0配置REWRITE伪静态环境
- Ubuntu 16.04设置IP、网关、DNS
- 笔记-高项案例题-2018年上-人力资源管理-建设项目团队
- 如何发表顶级期刊论文
- redis便捷启动,shell启动redis
- ITK:计算CovariantVector的范数并将其标准化
- Opencv3编程入门学习笔记(五)之通道分离(split)与合并(merge)
- 小米裁员10%?官方回应:创业至今 从未裁员
- eclipse 如何关联git_git的相关操作
- Win10配置Tensorflow_Object_Detection_API
- mysql事务隔离级别及传播机制
- Vue3.0 + Ts 项目使用element-plus 自动按需导入 使用v-loading报错
- Google常用搜索技巧
- 【计算机软件基础】如何理解鲁棒性Robust?
- 安全防范趋势、信息安全管理、隐私保护
- vnc远程控制软件怎么用,vnc远程控制软件到底该怎么用,使用教程
- 计算机小喇叭找不到,windows电脑右下角的小喇叭不见了_电脑声音的小喇叭不见了...
- 什么是keep-alive?
- 宝利德余海军浙商封面 :新数智时代的修行者
- cad批量转换pdf格式