WWW 2020 开源论文 | 异构图Transformer
论文标题:Heterogeneous Graph Transformer
论文来源:WWW 2020
论文链接:https://arxiv.org/pdf/2003.01332.pdf
代码链接:https://github.com/acbull/pyHGT
简介
近年来,图神经网络(GNNs)在图数据分析领域取得了巨大的成功。然而,大多数的 GNN 都是针对同构图设计的。在同构图中,所有的节点和边都属于同一种类型。
然而实际生活中,我们可能会处理更复杂的图数据,其节点与边会有不同的类别,学术界称这类图数据为异构图。
比如学术网络、知识图谱,乃至物联网等。例如,下图中的开放学术网络包含五种类型的节点:论文、作者、机构、会议和领域,以及它们之间不同类型的关系。
在这篇论文中,我们提出了一种处理异构图的 GNN 模型,Heterogeneous Graph Transformer (HGT)。该模型可以对亿数量级节点的异构动态图进行建模。
模型
为了处理图的异构性,我们将每条边的模型参数分解为三个矩阵相乘。其分解根据每条边的三元组 <初始节点类型,边类型,目标节点类型>来定义。具体来说,我们使用这些三元组来对权重矩阵参数化,以计算每条边上的注意力以及信息传递。
因此,HGT不需要手动设计元路径 (meta path) ,也可以自动、隐式地学习和提取对不同下游任务重要的元路径。在此分解基础上,整体的计算仿照Transformer,因此相较于传统图模型有更强的表征能力。
为了处理图数据的动态特性,我们引入了相对时间编码(Relative Temporal Encoding)。相较于传统做法,即根据不同的时间戳把初始图分割成若干个图,我们采用将发生在不同时间的边全部放在一个图里。
我们计算两两节点相互之间的时间差,并对每一个时间差以一个编码,加在初始节点表征上。这样,在学习过程中,HGT 可以学习出图中的时间依赖关系,同时发生在不同时间的节点间也可以进行信息传递。
为了处理网络规模的图形数据,我们设计了针对异构图的采样算法 HGSampling。它的主要思想是样本异构子图中不同类型的节点以相同的比例,并利用重要性采样降低采样中的信息损失。
通过 HGSampling,所有的 GNN 模型,包括我们提出的 HGT,都可以在任意大小的异构图上进行训练和推理。
实验
我们在开放学术图谱(OAG)上进行试验。该数据集包含 1.79 亿个节点和 20 亿个边组成,时间跨度从 1900 年到 2019 年。实验结果表明,与传统的 GNNs 和异构图模型相比,在下游任务中 HGT 可以显著提高 9-21%。
同时,利用我们提出的相对时间编码(RTE),我们可以动态地计算出任意一个年份的节点标准。例如,我们可以观测出每个会议在不同时间其相似会议的变化。如下图所示,WWW 在 2020 年与一些网络、数据库的会议更接近,而在 2020 年却与一些数据挖掘的会议更接近。
同时,我们还验证了 HGT 可以隐性地抽取出对下游任务重要的元路径,而不需要人为定义。例如下图中的 <paper, is_published_at, venue, is_published_at-1, paper> 路径就有着最高的重要性。
点击以下标题查看更多往期内容:
图神经网络时代的深度聚类
图自编码器的起源和应用
图神经网络三剑客:GCN、GAT与GraphSAGE
针对图嵌入模型的受限黑盒对抗攻击框架
AAAI 2020 开源论文 | 多成分图卷积协同过滤
ICLR 2020 | 多关系图神经网络CompGCN
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
WWW 2020 开源论文 | 异构图Transformer相关推荐
- AAAI 2020 开源论文 | 一种针对图嵌入模型的受限黑盒对抗攻击框架
AAAI(人工智能促进协会年会)是人工智能领域的顶级国际会议之一.今年的 AAAI 2020 是第 34 届,于 2 月 7 日至 12 日在美国纽约举行.今年,第 3 次参会的腾讯 AI Lab 共 ...
- 论文浅尝 | 异构图 Transformer
笔记整理:许泽众,浙江大学博士在读 论文链接:https://arxiv.org/abs/2003.01332 本文主要提出一种处理异构图的方法,所谓异构图(Heterogeneous graph)是 ...
- AAAI 2020 开源论文 | 语义感知BERT(SemBERT)
作者丨张倬胜 学校丨上海交通大学硕士生 研究方向丨自然语言理解 本文从计算语言学角度,提出使用显性语义角色信息来改善深度语言模型的建模性能,将语义角色标注用于机器阅读理解和推理任务中,提供更加丰富和精 ...
- AAAI 2020 开源论文 | 可建模语义分层的知识图谱补全方法
©PaperWeekly · 作者|蔡健宇 学校|中国科学技术大学 研究方向|知识图谱 近些年,知识图谱(Knowledge Graph)在自然语言处理.问答系统.推荐系统等诸多领域取得了广泛且成功的 ...
- ICLR 2020 开源论文 | 隐空间的图神经网络:Geom-GCN
作者丨纪厚业 学校丨北京邮电大学博士生 研究方向丨异质图神经网络及其应用 引言 图神经网络(Graph Neural Network)已经成为深度学习领域最热⻔的方向之一.作为经典的 Message- ...
- CVPR 2020 开源论文 | 多种可能性行人未来路径预测
©PaperWeekly 原创 · 作者|梁俊卫 学校|卡耐基梅隆大学博士生 研究方向|计算机视觉 在这篇文章里我将介绍我们最新在 CVPR'20 上发表的工作:The Garden of Forki ...
- KDD 2020 开源论文 | 图神经网络多变量时序预测
©PaperWeekly 原创 · 作者|马敏博 学校|西南交通大学硕士生 研究方向|命名实体识别 本次分享的论文是 KDD 2020 的一篇工作,出发点是为了更好地建模多变量时间序列数据中成对变量之 ...
- KDD 2020 开源论文 | 稀疏优化的块分解算法
©PaperWeekly 原创 · 作者|袁淦钊 单位|鹏城实验室 研究方向|数值优化.机器学习 这次向大家分享的工作是鹏城实验室牵头,联合腾讯 AI 实验室和中山大学在 SIGKDD 2020 上发 ...
- KDD 2020 开源论文 | GPT-GNN:图神经网络的生成式预训练
论文标题:GPT-GNN: Generative Pre-Training of Graph Neural Networks 论文链接:https://arxiv.org/abs/2006.15437 ...
最新文章
- java 值对象_java 中设计模式(值对象)的实例详解
- 开源分布式数据库RadonDB的核心技术与实现
- wince模拟器访问网络_Windows 10X开发模拟器上手
- axios捕获401 赋值token
- Linux经典问题—五哲学家就餐问题
- 老笔记整理四:字符串的完美度
- 慕课乐学python单元测试答案_中国大学慕课第三章单元测试答案_乐学软件工程免费答案...
- hj212协议如何和php通讯,5G/4G边缘计算网关如何实现HJ212协议上报
- centos7忘记密码处理办法
- Android6.0显示系统(五) SurfaceFlinger服务
- matlab cpu序列号,获取cpu序列号 - huhaoren的个人空间 - OSCHINA - 中文开源技术交流社区...
- 动环监控系统价格,动环监控系统价格多少
- Java+mysql毕业设计,网上订餐系统
- inssider序列号_AP注册问题-华三.ppt
- 常见视频输出接口类型
- 计算机共享网络授权,怎么设置网络共享与网络访问权限?
- 荣耀4a鸿蒙,华为荣耀4A上手评测:599元也可以很拉轰
- 真正的高手,都在刻意练习
- C++ 字符串和数字拼接
- self-attention