AAAI 2022 | 同时适用于同质和异质性的图神经网络

©作者 | 庄双双

来源 | MIND Laboratory

论文标题：

Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily

收录会议：

AAAI 2022

论文链接：

https://arxiv.org/abs/2112.13562

文章概述

图卷积网络 (GCN) 在处理图结构数据方面具有显著的能力，已经获得了巨大的成功，并已被应用于各种网络分析任务，包括节点分类，社区检测，异常检测和推荐系统。尽管近年来提出了许多基于 GCN 的方法、如 GraphSa、GAT、MixHop 和 HIN，基于 GCN 的方法通过图邻域内的特征传播和聚集来反映同质性假设。

这些方法在许多具有同质性的网络下游任务中表现出令人满意的性能，然而在异质性或低同质性的情况下，这些方法的性能很差，因为作为 GCN 最基本的部分，图邻域内的传播机制是有问题的，会混合来自不同类别的不相关信息。

为了解决该问题，本文设计了一种新的传播机制（同质性指导的图卷积框架 HOG-GCN），可以根据节点对之间的同质性或异质性自适应的改变传播和聚合过程。因此，新的图卷积框架可以通过使用亲和度矩阵对节点对之间的亲和度进行建模，自动改变特征传播过程。最终从从理论上证明了我们的模型可以根据节点之间的同质性来约束节点之间表征的相似性。

论文方法

HOG-GCN 的模型体系结构：

2.1 Homophily Degree Matrix Estimation

由于在半监督任务下只有部分标签信息可用，因此很难直接从节点标签中计算出亲和度。为此，我们考虑分别从属性空间和拓扑空间来估计节点对之间的亲和度，然后将它们与可调整的参数相结合。

属性空间：我们应用图不可知的多层感知器（MLP）从原始节点属性中提取类感知信息：

设 MLP 的所有参数均为，则通过 MLP 最小化随后的预测标签损失，得到最优的：

然后根据矩阵 B，我们可以计算出两个节点属于同一类的程度，称为同质度矩阵，定义为：

拓扑空间：经典的标签传播通常假设两个连接的节点更有可能具有相同的类，从而在邻域之间迭代地传播标签，在迭代 l 中的标签传播定义如下：

由于网络表现出不同的异质性，我们在网络的 K 阶结构上进行标签传播，以捕捉更多的同质性节点（例如 k=2）。K 阶结构定义为：

然后将迭代 l 中的广义标签传播定义为：

然后，我们可以通过广义标签传播来最小化预测标签的损失来学习最优边权值：

最优的使每个节点被广义标签传播正确分类的概率最大化，从而也增加了类内的影响，这反映了两个节点属于同一类的程度。为了形成一个端到端模式，这里我们取权值矩阵T作为从拓扑中估计的同质度矩阵空间。

最后，为了使模型更加有效和鲁棒性，我们将从属性空间和拓扑空间估计的均匀度矩阵与可调参数组合如下：

其中，α 和 β 是超参数，矩阵 S 包含任意节点对之间的同质度，而 T 在 k 阶邻域内学习同质度。

2.2 Homophily-guided Propagation

我们的方法的核心是自适应地学习同质性和异质性的传播过程。因此，我们将可学习的同质性度矩阵纳入图卷积框架中，以自动改变传播权值根据同质性程度。最后给出了 HOG-GCN 方法在迭代 l 中的特征传播过程：

2.3 Optimization Objective

整个框架由同质度矩阵估计和同质度引导传播两部分组成。第一个组件包含 MLP 和广义标签传播。通过给出了 MLP 和广义标签传播的目标函数（前文已给出）。

在第二个分量中，我们将同质度矩阵纳入图卷积框架。表示图卷积运算的所有参数均为，然后根据 HOG-GCN 的最终输出 Z 得到最优的：

在该模型中，在传播过程中从属性和拓扑信息中学习同质度矩阵，并进一步用于进行特征传播。反过来，传播过程可以帮助更好地学习同质性度矩阵。也就是说，这两个组成部分相互增强。因此，我们将这些目标结合起来，以端到端的方式训练整个过程：

其中，λ，γ 为平衡超参数。这样，特征传播过程由当前的同质性度矩阵引导，传播结果可以进行同质性学习通过半监督分类的度矩阵。

2.4 Theoretical Analysis

在本节中，我们证明了我们的新方法可以根据 k 阶邻域内节点之间的同源性来约束节点之间表示的相似性。将 HOG-GCN 的输出表示为 Z，则其传播过程可以视为最小化下面的目标函数。

然后，它可以解释为一个极限分布：

我们使用以下迭代形式来近似与的极限：

当忽略非线性变换并初始化时，我们有：

这对应于 HOGGCN 的传播过程。

实验结果

3.1 Datasets

作者在 7 个真实数据集上评估了所提出的 HOG-GCN 和现有方法的性能。

3.2 Node Classification

3.3 Visualization

总结

在本文中，提出了一种新颖的同质引导图可以普遍适用的卷积网络同性和异性网络。具体来说，我们将可学习的同质度矩阵合并到图中用于建模同质性的卷积框架和网络的异质性和进一步的自适应变化节点对之间根据同质度的传播过程。学习同质度矩阵通过提取类感知信息从属性和拓扑信息中提取可以进行传播过程。作为回报，传播过程的结果可以进步通过下游帮助学习同质度矩阵半监督任务。这两个过程可以增强互相训练，共同训练。对七个真实世界数据集的实验表明，所提出的新方法在异质性下优于现有方法，同时拥有同质性下的竞争表现。

更多阅读

#投稿通道#

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

AAAI 2022 | 同时适用于同质和异质性的图神经网络相关推荐

论文 | 导航 | 2022年亚利桑那州立大学硕士论文《图神经网络与优势Actor-Critic强化学习算法用于多智能体导航》
原创 Manaswini A 图科学实验室Graph Science Lab 2022-06-11 08:00 发表于台湾图神经网络 (GNN) 是一种神经网络架构,它对由对象及其关系组成的数据进行 ...
NeurIPS 2022 | NAS-Bench-Graph: 图神经网络架构搜索Benchmark
©作者 | 梁峰绮单位 | 北京邮电大学来源 | 北邮 GAMMA Lab 本文旨在简要介绍近期发表在 NeurIPS 2022 Datasets and Benchmarks Track 上的一 ...
2022图神经网络5篇最新的研究综述：双曲/图分类/联邦/等变/异质性
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达转载于"深度学习与图网络" 近年来,深度学习领域关于图神经网络(G ...
直播预告 | AAAI 2022论文解读：基于锚框排序的目标检测知识蒸馏
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
AAAI 2022 | 北大阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
近年来,预训练语言模型迅速发展,模型参数量也不断增加.为了提高模型效率,各种各样的模型压缩方法被提出,其中就包括模型剪枝. 然而,现有的模型剪枝方法大多只聚焦于保留任务相关知识,而忽略了任务无关的通用 ...
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
融合RGB与近红外“看清黑暗”，低照度成像方法：暗视觉网络（AAAI 2022）
本文转载自旷视研究院. 此篇论文已被 AAAI 2022 收录. 摘要 RGB-NIR 融合技术可用在极暗环境下增强可见光成像效果.然而现存的融合算法无法处理 RGB-NIR 图像之间的结构不一致问 ...
中科院德州扑克AI获卓越论文奖！AAAI 2022开奖，吴恩达获纪念讲座奖
视学算法报道编辑:David 好困 [新智元导读]AAAI 2022公布多项论文大奖!包括杰出论文奖.卓越论文奖,以及新增设的杰出学生论文奖.另外,AI大牛吴恩达获得本年度Robert S. ...
大连理工本科生顶会连刷SOTA被爆作弊！AAAI 2022接收后又面临撤稿，一作仍未发声...
视学算法报道编辑:好困 LRS [新智元导读]AAAI 2022刚要落下帷幕就又被掀起来了!大连理工本科生一作论文中稿,本该是件值得庆祝的事,但有网友发现了论文中的致命漏洞:声称的无监督方法 ...

AAAI 2022 | 同时适用于同质和异质性的图神经网络

AAAI 2022 | 同时适用于同质和异质性的图神经网络相关推荐

最新文章

热门文章