2019 NeurIPS | Graph Transformer Networks

2024-05-12 08:18:12

2019 NeurIPS | Graph Transformer Networks

Paper: https://arxiv.org/abs/1911.06455
Code: https://github.com/seongjunyun/Graph_Transformer_Networks

2019 NeurIPS | 图transformer网络

问题

大部分GNN（graph neural network）应用要求输入的graph为fixed and homogeneous，其中homogeneous指的是graph中的节点属于同一个类型，边也属于同一个类型。但是实际应用中的graph往往是heterogeneous.比如citation network中的节点有author也有paper，conference等。直接忽略这些类型差异显然使得model suboptimal。一种解决思路是手工设计meta-path（可能是多跳heterogeneous edges形成的path，本质上是composite relation，因为每条边都可以看成是一个关系二元组，多跳自然就是多个二元组的级联，形成一个合成关系），利用meta-path来从原始heterogeneous graph中提取homogeneous graph作为GNN的输入。这种方式的缺点是需要手工构造meta-path，其质量直接影响下游任务。

模型

在本文中，作者提出了能够生成新图结构的图转换网络(GTNs)，它涉及到识别原始图上未连接节点之间的有用连接，同时以端到端方式学习新图上的有效节点表示。Graph Transformer层是GTNs的核心层，它学习了边类型的软选择和复合关系，以生成有用的多跳连接，即所谓的元路径。

Graph Transformer Layer

一个Graph Transformer Layer。输入有K个通道，每个通道为NN矩阵，然后经过11K的卷积进行处理生成NN的中间态邻接矩阵Q1。而卷积核是由W经softmax处理得到。Q的计算公式如下所示：

meta-path生成
两个软选择的邻接矩阵Q1,Q2。因此，新生成meta-path图对应的邻接矩阵就是A(1)=Q1Q2。考虑到数据稳定性，可进行归一化处理。于是乎，给定任意长度l，它的meta-path图对应的邻接矩阵可表示为：

A(l)的生成过程进行理解（注意：上图中11卷积为C通道，因此Q为C通道，A(l)也为C通道）。但上述meta-path生成方式不能包含原始图中的边信息，也会丢失短meta-path信息。解决此问题可在原始图的邻接矩阵集合中添加单位矩阵E。

结果

2019 NeurIPS | Graph Transformer Networks相关推荐

异构图-GTN（Graph Transformer Networks）
上一节的HAN表示异构图的Attention Network,通过手动设置Meta-path,然后聚合不同Meta-path下的节点attention,学到节点最终的表示.但是这个方法是手动选择Met ...
论文笔记 EMNLP 2020|Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument
文章目录 1 简介 1.1 创新 2 方法 3 实验 1 简介论文题目:Graph Transformer Networks with Syntactic and Semantic Structur ...
异配图神经网络——Graph Transformer Networks
一.论文概述作者提出了Graph Transformer Network (GTN)用来在异配图(heterogeneous graph)上学习节点表示.通过Graph Transformer层,模 ...
【ECCV2020】Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction
[ECCV2020]用于行人轨迹预测的时空图 Transformer 网络摘要了解人群运动动力学对于现实世界的应用至关重要,例如监控系统和自动驾驶.这是具有挑战性的,因为它需要对具有社会意识的人群 ...
论文笔记：ICML 2019 Simplifying Graph Convolutional Networks
前言随着2017年GCN概念的提出,近年来越来越多的GCN方法被提出.由于GCN本身的提出来源于深度学习中CNN和RNN的概念,因此可能会继承其中一些不必要的复杂度和冗余计算,本文提出了一种简化的图 ...
知识图谱论文阅读（二十）【WWW2020】Heterogeneous Graph Transformer
题目: Heterogeneous Graph Transformer 论文链接: https://arxiv.org/abs/2003.01332 代码链接:https://github.com/a ...
（十九）【AAAI2021】Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommend
题目: Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation 论文链接 ...
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
摘要:在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合和迭代地学习图结构和图嵌入.IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构,反之亦然(即基于更好的图结 ...
Advances in Graph Neural Networks笔记4：Heterogeneous Graph Neural Networks
诸神缄默不语-个人CSDN博文目录本书网址:https://link.springer.com/book/10.1007/978-3-031-16174-2 本文是本书第四章的学习笔记. 感觉这一章 ...

最新文章

热门文章