【GNN】WL-test:GNN 的性能上界
作者:阿泽crz
今天学习斯坦福大学同学 2019 年的工作《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》,这也是 Jure Leskovec 的另一大作。
我们知道 GNN 目前主流的做法都是通过迭代地对邻居进行「聚合」(aggreating)和「转换」(transforming)来更新节点的表示向量。而在这篇文章中,本文作者提出了一个可以用于分析 GNN 能力的理论框架,通过对目前比较流行的 GNN 变体(如 GCN、GraphSAGE 等)进行分析,其结果表明目前的 GNN 变体甚至无法区分某些简单的图结构。
本文作者设计了一个简单的架构 GIN(Graph Isomorphism Network),并证明该架构在目前所有 GNN 算法中最具表达能力,并且具有与 Weisfeiler-Lehman 图同构测试一样强大的功能。
读完这段介绍大家可能会有多疑问,包括但不限于:
「为什么 GCN、GraphSAGEE 无法区分简单的图结构」?
「分析 GNN 捕获图结构的能力的理论框架是什么」?
「Weisfeiler-Lehman 图同构测试是什么」?
「为什么提出的 GIN 要与 Weisfeiler-Lehman 图同构测试进行比较」?
接下来,我们带着问题来阅读本篇文章。
1.Introduction
GNN 的许多变体都采用了不同的邻域聚合图级别的池化方案,虽然这些变体在节点分类、连接预测和图分类等任务中取得了 SOTA,但是这些 GNN 的设计主要是基于经验而谈,并没有很好的理论基础来分析 GNN 的性质和局限性。
于是,作者提出了一个理论框架用于分析 GNN 及相关变体的表达能力和区分不同图结构的表现力。该框架的灵感来源于 Weifeiler-Lehman 图同构测试(以下简称 WL-test),WL-test 非常强大,其可用于区分各种图结构。与 GNN 类似,WL-test 可以通过聚合邻居节点的特征向量来迭代给定的特征向量,但目前的 GNN 的表达能力都不如 WL-test。WL-test 之所以那么强主要原因在于「单射聚合更新」(injective aggregation update),所以如果要想获得与 WL-test 一样强的表现力,首先考虑对 GNN 的聚合方案对单射函数进行建模。
本文有以下贡献:
「证明出 WL-test 是 GNN 的表达能力上限」;
「提出了一个可以用于分析 GNN 能力的理论框架」;
「设计了聚合函数和读出函数,使得 GNN 可与 WL-test 一样强大」;
「构建了一个与 WL-test 一样强大的架构——GIN」;
2.Weisfeiler-Lehamn
为了让大家无痛学习,我们先写介绍一下 WL-test。
2.1 Graph Isomorphism
先来介绍下什么是同构图。
简单来说,如果图
和 的顶点和边数量相同,且边的连接性相同,则可以称这两个图为同构的。也可以认为, 的点是由 中的点映射得到。
举一个简单例子,判断下面两个图是否是同构的:
其实上面两张图是同构的,映射关系为:
。
这个还算比较简单,但是如果节点和边的数量都增加了,可能就没法一眼看出,更别说真实社交网络中几百万节点,几千条万条边的情况了。
简单介绍下为什么要计算图同构:我们在分析社会网络、蛋白质、基因网络等通常会考虑彼此间的相似度问题,比如说,具有相似结构的分子可能具备相似的功能特性,因此度量图的相似度是图学习的一个核心问题。
而图同构问题通常被认为是 NP 问题,目前最有效的算法是 Weisfeiler-Lehman 算法,可以在准多项式时间内进行求解。
2.2 1-dimensional
WL 算法可以是 K-维的,K-维 WL 算法在计算图同构问题时会考虑顶点的 k 元组,如果只考虑顶点的自身特征(如标签、颜色等),那么就是 1-维 WL 算法。
介绍下 1-维 WL 算法,首先给出一个定义:
「多重集」(Multiset):一组可能重复的元素集合。例如:{1,1,2,3}就是一个多重集合。
Nino 大佬在她的论文
中给出了一个很经典很形象的例子(不过要注意,这个例子其实从标签数量就可以判断两个图是非同构图了,这里只是以此举个例子。):
a:给出两个标签 Label 的图
;b:考虑节点邻域的标签,并对此排序。(4,1135 表示当前节点标签为 4,其领域节点标签排序后为 1135);
c:对标签进行压缩映射;
d:得到新标签;
e:迭代 1 轮后,利用计数函数分别得到两张图的计数特征,得到图特征向量后便可计算图之间的相似性了。
直观上来看,WL-test 第 k 次迭代时节点的标号表示的是结点高度为 k 的子树结构:
以节点 1 为例,右图是节点 1 迭代两次的子树。因此 WL-test 所考虑的图特征本质上是图中以不同节点为根的子树的计数。
给出伪代码:
分别为:聚合邻居节点标签;多重集排序;标签压缩;更新标签。
公式表示为:
看到这大家是不是想到了什么?是不是和 GCN、GraphSAGE 等 GNN 网络的公式差不多?都是分为两步:聚合和结合:
对于 GraphSAGE 来说:
对于 GCN 来说:
GNN 是通过递归更新每个节点的特征向量,从而捕获其周围网络结构和节点的特征,而 WL-test 也类似,那么 GNN 和 WL-test 之间又有什么关系呢?
##2.3 Upper limit of GNN performance
结论也在文章的开头说了,WL-test 是 GNN 的性能上界。我们这里来证明一下。
直观来说,一个好的 GNN 的算法仅仅会在两个节点具有相同子树结构的情况下才会将其映射到同一位置。由于子树结构是通过节点邻域递归定义的,所以我们可以将分析简化为这样一个问题:GNN 是否会映射两个邻域(multiset)到相同的 Representation?一个好的 GNN 永远不会将两个不同领域映射得到相同的 Representation。即,「聚合模式必须是单射」。因此,我们可以将 GNN 的聚合方案抽象为一类神经网络可以表示的多重集函数,并分析其是否是单射。
「引理 1」:对任意两个非同构图
和 ,如果存在一个图神经网络 将图 和 映射到不同的 Embedding 向量中,那么通过 WL-test 也可以确定 和 是非同构图。
其证明方法用的是反证法:假设在迭代 k 此后,图神经网络有可以判断,但 WL 判断。那么在第 0 到 k-1 的迭代过程中,
和 都需要具有相同 Multiset(如果是不同的 Multiset 会得到唯一的新标签)。这也间接说明 和 的在之前的迭代过程中除了自身节点相同外,邻居节点也相同,而 GNN 的聚合过程中,AGGREGATE 和 COMBINE 函数都是不变的,即对于相同的输入会得到相同的输出,所以会一直保持一种迭代状态:,GNN 的 READOUT 函数对顺序不敏感,所以最终会得到 和 两图同构,与条件出现了矛盾。
3.GIN
由引理 1 可知,WL-test 是 GNN 的性能上界,那么是否存在一个与 WL-test 性能相当的 GNN 呢?答案是肯定的。
「定理 1」:设 GNN 有
,多于可以通过 WL-test 判断的两个图 和 ,在 GNN 层数多的情况下,满足以下情况时,GNN 也可以判断两个图:
a)GNN 的节点聚合和更新函数通过以下公式进行迭代:
其中,f 作用在 multisets 上,
为「单射函数」。
b)GNN 作用在 multiset 的 READOUT 函数也是「单射」的。
证明就不证了,感兴趣的可以去看论文附录。
通过定理 1 我们看出 GNN 和 WL-test 的主要区别在于「单射函数」中。顺利成章的,作者设计一个满足单射函数的图同构网络(Graph Isomorphism Network,以下简称 GIN)。
3.1 AGGREGATE
为了构建出单射的多重集聚合函数,作者提出了一个深度多重集(Deep Multiset),旨在通过神经网络来的对通用的多重集函数进行参数化。
「引理 2」:设
可数,那么会存在一个函数 使得对于任意有限多重集 都有 。此外,任意一个多重集函数 g 可以被分解为 。
作者给出的引理 2 指出了求和聚合器实际上也可以表示为多重集上的单射函数。
「推论 1」:设
可数,那么存在一个函数 ,对于任意实数 和任意有限多重集 都有 。此外,任意函数 g 都可分解为 。
引入多层感知机来学习函数
,便可得到 GIN 最终的基于 SUM+MLP 的聚合函数:
MLP 可以近似拟合任何函数;
第一次迭代时,如果输入的是 One-hot 编码,在求和前不需要用 MLP,因为 Ont-hot 向量求和后依旧是单射的;
3.2 READOUT
我们知道 READOUT 函数的作用是将图中节点的 Embedding 映射成整张图的 Embedding。于是作者提出了基于 SUM+CONCAT 的 READOUT 函数,对每次迭代得到的所有节点的特征求和得到该轮迭代的图特征,然后再拼接起每一轮迭代的图特征来得到最终的图特征:
4.Comparation
这一节我们分析下为什么诸多 GNN 变体没有 GIN 能力强,其实也就是分析下 GNN 变体不满足单射的原因。
4.1 Layer
首先,大部分 GNN 变体的层数都比较少,大部分都只有一层。单层感知机的行为就像是线性映射,此时 GNN 层对退化为简单的对领域特征求和。虽然我们可以证明在有偏执项和足够多的输出维度的情况下,单层感知机是可以完成多重集的单射的,但这种映射无法捕获图结构的相似性。并且对于单层感知机来说,有时会出现数据拟合严重不足的情况,其拟合能力无法与 MLP 相提并论,并且在测试精度上往往比具有 MLP 的 GNN 表现更差。
4.2 Structures
其次,对于 sum 操作来说,mean 和 max 池化操作可能会混淆某些结构,以下图为例:
设节点以颜色为标签,即 r g b。
对于图 a 来说,max 和 mean 池化操作无法区分其结构,聚合邻居节点后最终标签都为 b,而对于 sum 操作来说 可以得到 2b 和 3b;
对于图 b 来说,max 操作无法区分,而 mean 和 sum 可以区分;
对于图 c 来说,max 和 mean 都无法区分,而 sum 依然可以区分。
由此可见,max 和 min 并不满足单射性,故其性能会比 sum 差一点。
4.3 Information
那么 sum 、mean 和 max 三者分别可以捕捉到什么信息呢?以下图为例子:
sum 可以捕捉到全部到所有的标签及其数量,mean 只能学习到标签的相对分布信息(标签比例),max 则偏向于学习具有代表性的信息(标签集合);
sum 可以学到网络结构信息,而其他不可以。
5.Experiments
简单看一下实验部分。
下图为不同条件 GNN 的拟合能力,可以看到 GIN 的最终结果还是比较接近于 ML 的:
再看一下泛化能力:
GIN-0 比 GIN-
的性能稍微好一点,可能是因为模型简单的缘故;GIN 和 SUM-GNN 可以捕捉到图结构,所以效果不错;
6.Conclusion
总结:本文首先证明了 WL-test 是目前所有 GNN 的性能上界,并通过分析目前 GNN 出现的问题提出了构建有效的 GNN 的方法,即使用单射函数,同时也利用 MLP 拟合单射函数设计出一个新的架构模型 GIN,并通过实验证明 GIN 的性能逼近 WL-test。
7.Others
本篇文章只介绍了一维的 WL-test,其他的维度的暂时没有介绍。
在一维 WL-test 中,下面这两张图是非同构的,但是在二维 WL-test 中下面这两图是同构的。
有学者证明出 WL-test 的维度最多为 3 维
,感兴趣的同学可以自己去探索。
8.Reference
《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》
《Weisfeiler-Lehman Graph Kernels》
《Combinatorial Properties of the Weisfeiler-Leman Algorithm》
《The Weisfeiler-Leman Dimension of Planar Graphs is at most 3》
《GIN 图同构网络 ICLR 2019 论文详解》
《weihua916/powerful-gnns》
交流学习,进群备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
广告商、博主勿入!
【GNN】WL-test:GNN 的性能上界相关推荐
- GNN:Weisfeiler-Lehman(WL)算法、WL-Test【GNN 的性能上界】
<How powerful are graph neural networks?> 对邻居节点标签信息进行聚合,以获得一个带标签的字符串(整理默认采用升序排序的方法进行排序) 参考资料: ...
- 信号检测与估计理论 pdf_目标检测的性能上界讨论
加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总 ...
- Make GNN Great Again: GNN 上的预训练和自监督学习
© 作者|侯宇蓬 机构|中国人民大学高瓴人工智能学院硕士一年级 导师|赵鑫教授 研究方向 | 图机器学习和推荐系统 1 引言 近些年来,对图神经网络(GNN)的研究如火如荼.通过设计基于 GNN 的模 ...
- GNN教程:GNN 涉及到的基础知识
转载 目录 系列规划 基础知识 欧几里得结构化数据 1. 欧几里得空间 2. 常见的欧几里得结构化数据 非欧几里得结构化数据 1. 非欧几里得空间 2. 非常见的欧几里得结构化数据 图(Graph) ...
- 【GNN报告】GNN可解释性 基于几何与拓扑特性的图学习
目录 1.中国科学技术大学 王翔: GNN可解释性 简介 GNN可解释性背景 后事可解释性 2022 TPAMI Reinforced Causal Explainer for Graph Neura ...
- 【GNN】图解GNN: A gentle introduction(含视频)
目录 GNN Why What Tasks How 编辑 关键 MP 编辑 GCN 编辑 GAT 参考 GNN Why What Tasks 目前最常见还是节点分类和链接预测 图分类常见于蛋白质 ...
- Michael Brostein 最新几何深度学习综述:超越 WL 和原始消息传递的 GNN
来源:AI科技评论 本文约8500字,建议阅读15+分钟 本文叫你如何突破基于 WL 测试和消息传递机制的 GNN 的性能瓶颈. 图可以方便地抽象关系和交互的复杂系统.社交网络.高能物理.化学等研究领 ...
- Michael Bronstein 最新几何深度学习综述:超越 WL 和原始消息传递的 GNN
如何突破基于 WL 测试和消息传递机制的 GNN 的性能瓶颈?且看几何深度学习旗手.牛津大学教授 Michael Brostein 如是说. 编辑丨陈彩娴 来源 | AI科技评论 图可以方便地抽象关系 ...
- 图网络究竟在研究什么?从15篇研究综述看图神经网络GNN的最新研究进展
近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视.图神经网络(GNN)是一类基于深度学习的处理图域信息的方法. 到目前,相关研究的已经非常多了,不过我们回过头来看思考和回顾一下 ...
- KerGNNs:结合Graph kernels的可解释GNN
目录 引言 方法 KerGNNs 时间复杂度分析 实验 实验结果 可解释性 AAAI2022的文章 "KerGNNs: Interpretable Graph Neural Networks ...
最新文章
- 和12岁小同志搞创客开发:如何选择合适的传感器?
- Android-可自动缩小字体的TextView
- HttpClient和HttpURLConnection的使用和区别(上)
- PHP学习总结(会话控制)
- HDU - 6315 Naive Operations(线段树+思维)
- jupter中没有显示conda中的环境
- Java程序设计 图形用户界面 小巫版简易计算器
- MSSQL 发布订阅,实现读写分离
- linux 删除N天文件
- JAVA基础面试题,java高级面试笔试题
- 华为Mate 40手机将于国庆节发售:搭载全新5nm芯片
- 【GCC】Bug 36793 - x86-64 does not get __sync_synchronize right
- sqlserver 分割多个文件_鸿萌易备:SQL Server 数据库的全方位备份解决方案
- C# winForm启动最小化到任务栏右侧通知栏并交互操作
- 高边电流检测测量:电路和原理
- 移动应用中的AR开发,6款最受欢迎工具推荐
- 如何做好项目规划?以及项目规划常用的管理软件盘点
- 生鲜在B2C电商模式下存在问题,O2O模式解决生鲜电商物流配送难题
- 【IoT】基于NB-IoT的LWM2M协议浅析
- 计算机320分考研调剂学校有哪些,初试分数361分调剂复试没进,320分考生却进了,网友说正常现象...