GNN-图卷积模型-2017：GAT【消息传递（前向传播）：聚合函数+更新函数】【聚合函数：attention（邻域所有节点根据注意力机制进行加权）】【训练更新函数的参数】【直推式归纳式】【同质图】
一、概述
Graph数据结构的两种特征：
当我们提到Graph或者网络的时候，通常是包含顶点和边的关系，那么我们的研究目标就聚焦在顶点之上。而除了结构之外，每个顶点还有着自己的特征，因此我们图上的深度学习，无外乎就是希望学习上面两种特征。
GAT(graph attention networks)网络特点：
它与先前方法不同的是，它使用了masked self-attention层。
原来的图卷积网络所存在的问题需要使用预先构建好的图。而在本文模型中，图中的每个节点可以根据邻域节点的特征，为其分配不同的权值。
GAT结构很简单，功能很强大，模型易于解释。
文章的实验证明，GAT模型可以有效地适用于基于图的归纳学习问题与直推式学习问题。
GAT是高效的。相比于其他图模型，GAT 无需使用特征值分解等复杂的矩阵运算。
单层 GAT 的 时间复杂度为 O ( ∣ V ∣ F F
GNN-图卷积模型-2017：GAT【消息传递（前向传播）：聚合函数+更新函数】【聚合函数：attention（邻域所有节点根据注意力机制进行加权）】【训练更新函数的参数】【直推式归纳式】【同质图】相关推荐
- GNN-图卷积模型-2016：GCN【消息传递（前向传播）：聚合函数+更新函数】【聚合函数：mean（邻域所有节点取平均值）】【训练更新函数的参数】【空域+频域】【直推式学习】【同质图】
一.概述 在扎进GCN的汪洋大海前,我们先搞清楚GCN是做什么的,有什么用.深度学习一直都是被几大经典模型给统治着,如CNN.RNN等等,它们无论再CV还是NLP领域都取得了优异的效果,而GCN主要是 ...
- 【Pytorch神经网络理论篇】 29 图卷积模型的缺陷+弥补方案
图卷积模型在每个全连接网络层的结果中加入了样本间的特征计算.其述质是依赖深度学特征与缺陷. 1.1 全连接网络的特征与缺陷 多层全连接神经网络被称为万能的拟合神经网络.先在单个网络层中用多个神经元节点 ...
- 图卷积神经网络(part3)--三个经典谱域图卷积模型
学习笔记,仅供参考,有错必究 文章目录 三个经典谱域图卷积模型 概述 SCNN SCNN的缺点 ChebNet GCN 三个经典谱域图卷积模型 概述 三个图谱卷积模型(SCNN.ChebNet.GCN ...
- 判断深度学习模型的稳定性_图深度学习连载八，入门教程之简化图卷积模型
本教程是一个系列免费教程,争取每月更新2到4篇. 主要是基于图深度学习的入门内容.讲述最基本的基础知识,其中包括深度学习.数学.图神经网络等相关内容.该教程由代码医生工作室出版的全部书籍混编节选而成. ...
- 图深度学习连载八，入门教程之简化图卷积模型
本教程是一个系列免费教程,争取每月更新2到4篇. 主要是基于图深度学习的入门内容.讲述最基本的基础知识,其中包括深度学习.数学.图神经网络等相关内容.该教程由代码医生工作室出版的全部书籍混编节选而成. ...
- 图卷积神经网络(part6)--GAT
学习笔记,仅供参考,有错必究 文章目录 GAT 核心思想 具体步骤 使用注意力机制计算节点之间的关联度 利用注意力系数对邻域节点进行有区别的信息聚合,完成图卷积操作 与其他图卷积的比较 思考 举个例子 ...
- gcn 图卷积神经网络_谱域图卷积模型---SCNN,ChebNet,GCN
对于图神经网络(GNN)而言,其实现卷积主要有两种两种方法,分别是谱域图卷积方法和空域图卷积方法.这次主要介绍使用谱方法实现卷积的三个模型,即SCNN,ChebNet,GCN. 近几年图神经网络的越来 ...
- DGL实现同构/异构图卷积模型
同构图卷积 from time import time import numpy as np import dgl import torch import torch.nn as nn import ...
- CIKM 2022最佳论文：融合图注意力机制与预训练语言模型的常识库补全
©作者 | 巨锦浩 单位 | 复旦大学硕士生 来源 | 知识工场 研究背景 常识在各种语料库中很少被明确表达,但对于机器理解自然语言非常有用.与传统的知识库(KG)不同,常识库(CKG)中的节点通常由 ...
- 基于注意力机制的图卷积网络预测药物-疾病关联
BIB | 基于注意力机制的图卷积网络预测药物-疾病关联 智能生信 人工智能×生物医药 关注 科学求真 赢 10 万奖金 · 院士面对面 9 人赞同了该文章 今天给大家介绍华中农业大学章文教授团队在 ...
最新文章
- ORB-SLAM2从理论到代码实现（一）：整体框架
- 神经网络原来这么简单，机器学习入门贴送给你 | 干货
- 俄罗斯方块：win32api开发
- Angularjs(一)
- 变量的引用-函数返回值传递引用
- mysql几个timeout参数_MySQL中 timeout相关参数解析
- Loj#6053-简单的函数【Min25筛】
- vue从url中获取token并加入到 请求头里_轻流amp;amp;企业微信——获取打卡数据...
- zoj 1091 Knight Moves
- python-字符串的切片操作
- 好程序员大数据教学点睛：Hadoop基础篇
- TFS dataserver故障测试
- GPG软件签名与验证
- COMSOL指南：COMSOL案例库文件夹的寻找
- 手机端车牌识别软件下载
- 用VBA破解Excel密码
- 将图片转成base64字符串并在JSP页面显示的Java代码
- layui.table(表格)跨页多选
- Python爬取字节跳动1W+招聘信息
- word2016 表格标尺偏移问题