GNN和GGNN学习笔记
GNN
对于图上每个节点被编码为嵌入向量,因此,节点可能是一个图,可以通过cnn进行计算,可能是一个词、一个嵌入,它可以是自己希望的任何东西,这是图神经网络的输入。
对于F,GNN处理可以看作节点的特征提取,F通过不同的边类型与E和D连接,D和F有自己的初始向量。
从F的邻居开始,做一些类似计算消息的操作,实际上是获得另一个向量。合并得到的邻居消息结合F节点当前状态,将更新t时刻的F节点状态(拥有自身和邻居的信息)。
具体一点,x代表邻居信息,是由当前节点的边类型为K的邻居信息合并而成。
对于图神经网络,每个时间点,所有节点都从其邻居获得输入,计算消息然后更新状态。此过程,一次又一次重复操作。
一开始,每个节点都了解自己,下一步中,了解了邻居,逐步扩大自己的感知区域。
GNN-1
E是模型的参数,消息取决于边类型K和邻居状态。E与不同类型的邻居节点进行矩阵乘法,汇总邻居的输入状态,通过GRU更新状态,GRU实现从上一个状态转移到下一个状态。
GGNN中的矩阵运算
邻居矩阵可以将一个节点用邻居节点表示。如上图,c节点乘上邻接矩阵得到了他邻居a和b的表示,即用a和b表示c。
对于K个边类型,就要K个邻接矩阵。
首先,节点状态是一个n x D 的矩阵,每一行是节点在t时刻初始向量表示。接下来,计算要发送的消息,不同的K,使用E乘上节点状态矩阵,M代表所有向外发送的消息。接收消息,使用邻接矩阵乘上M,会受到所有类型K的边的邻居消息。最后,通过GRU得到t+1时刻的更新状态。
GGNN-2
起点是递归神经网络RNN,是对特殊的图(链图)进行操作,可以处理文字、一系列tokens。
我们用recurrent unit表示链图中每一个节点,箭头进行连接。一次给每个节点嵌入一个节点特征(信封表示),每个节点通过递归神经网络得到新的状态。
对于普通图,如下
每个节点代表任何你想要的东西(不同的原子、图像等),都有一个特征向量。
关联到一个网络,具有不同类型的边。边不同,知识库就不同。
将节点替换成递归单元,如下
消息传递将如下进行,对于一个特定节点放大
该节点将从邻居拉取特征,随着消息被拉出,将通过网络经过特定的边。新的状态由自己,和邻居特征和组成。
对于图中所有节点同一个时间步同时更新,其中单个时间步节点可以知道自身信息和相距一阶的邻居的信息。
第二次重复操作,节点又知道了一阶和二阶的信息,经过固定T个时间步停止后,节点知道信息的范围越来越大。
一次一次重复前进,将图的全部信息收集起来进行求和。
GNN和GGNN学习笔记相关推荐
- 深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习 文章目录 深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习 表示学习 表示学习的意义 离散表示与分布式表示 端到端学习 基于重构损 ...
- 【图神经网络】图神经网络(GNN)学习笔记:基于GNN的图表示学习
图神经网络GNN学习笔记:基于GNN的图表示学习 1. 图表示学习 2. 基于GNN的图表示学习 2.1 基于重构损失的GNN 2.2 基于对比损失的GNN 参考资料 本文主要就基于GNN的无监督图表 ...
- 【图神经网络】图神经网络(GNN)学习笔记:图分类
图神经网络GNN学习笔记:图分类 1. 基于全局池化的图分类 2. 基于层次化池化的图分类 2.1 基于图坍缩的池化机制 1 图坍缩 2 DIFFPOOL 3. EigenPooling 2.2 基于 ...
- GNN学习笔记(四):图注意力神经网络(GAT)节点分类任务实现
目录 0 引言 1.Cora数据集 2.citeseer数据集 3.Pubmed数据集 4.DBLP数据集 5.Tox21 数据集 6.代码 嘚嘚嘚,唠叨小主,闪亮登场,哈哈,过时了过时了,闪亮登场换 ...
- GNN学习笔记(二)表征学习基本介绍
GNN学习笔记(二)表征学习基本介绍 一.表征学习(Representation Learning) 1.什么是表征学习 2.传统表征学习(特征工程)的局限性 3.表征学习的分类 4.如何判断表征学习 ...
- 【图神经网络】图神经网络(GNN)学习笔记:图的基础理论
图神经网络GNN学习笔记:图的基础理论 1. 图的概述 2.图的基本类型 2.1 有向图和无向图 2.2 非加权图与加权图 2.3 连通图与非连通图 2.4 二部图 2.5 邻居和度 2.6 子图和路 ...
- 【图神经网络】图神经网络(GNN)学习笔记:GNN的通用框架
图神经网络GNN学习笔记:GNN的通用框架 1. MPNN 2. NLNN 3. GN 参考资料 所谓通用框架,是对多种变体GNN网络结构的一般化总结,也是GNN编程的通用范式,这里介绍3类通用框架: ...
- 《繁凡的深度学习笔记》前言、目录大纲 一文让你完全弄懂深度学习所有基础(DL笔记整理系列)
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...
- 【学习笔记】超简单的快速数论变换(NTT)(FFT的优化)(含全套证明)
整理的算法模板合集: ACM模板 目录 一.前置知识 二.快速数论变换(NTT) 三.NTT证明(和FFT的关系) 四.NTT模板 数组形式的实现 vector形式的实现 点我看多项式全家桶(●^◡_ ...
最新文章
- 2D-2D:对极约束
- 《精通Python设计模式》学习结构型之MVC模式
- 皮一皮:碰到这样的领导怎么办...
- AI:2020 科大讯飞AI开发者大赛,总奖金池180+万元!拿下比赛,大厂offer到手,那么,你还在等什么?
- android 外文期刊_AndroSimilar: Robust signature for detecting variants of Android malware
- n1运行linux,斐讯 N1 运行 ArchLinuxARM
- ado.net mysql 连接池_ADO.NET中SQL Server数据库连接池
- Flex Java Servlet 实现简单图片编辑
- 华为PIM-SSM配置实例
- 气候遇上AI:从此天有可测风云
- Android 直播礼物动画实现之SVGA动画
- 浏览器全屏fullScreen
- 纯js实现类似淘宝星级评分功能
- Passive Aggressive Alogrithm
- log4j配置详解(非常详细转载)
- 括号配对检测python123_《括》字意思读音、组词解释及笔画数 - 新华字典 - 911查询...
- pytorch(9)-- 利用resnet18使cifa10数据集达到95%准确率
- Kafka 开启 SASL/PLAINTEXT 认证及 ACL
- 使用C#开发了一个RPG角色扮演类的小游戏^_^
- 刘邦韩信java_刘邦为什么叫韩信雏儿 刘邦杀韩信后悔了吗