摘要

图神经网络是一种基于深度学习的强大图表示技术，表现出了卓越的性能，并吸引了大量研究人员的兴趣。但是，在现有图神经网络中尚未完全考虑异质图，该图包含不同类型的节点和边。异构性和丰富的语义信息为设计用于异构图的图神经网络带来了巨大的挑战。最近，深度学习中最令人兴奋的进步之一是注意力机制，其在各个领域都很好地证明了该方法带来的巨大潜力。在本文中，我们首先提出了一个基于分层注意力的新异构图神经网络，包括节点级和语义级的注意力。具体而言，节点级的注意力旨在去学习节点和相邻节点元路径之间的重要性，而语义级的注意力则能够学习不同元路径的重要性。使用从节点级和语义级注意力中学到的重要性，可以完全考虑到节点和元路径的重要性。然后，所提出的模型可以通过分层的方式汇总来自元路径的特征来生成节点嵌入。在三个真实异构图上进行的广泛实验结果不仅显示了我们提出模型的优越性能，而且还表明了其对图分析具有良好的解释性。

1.介绍

　　现实世界中的数据通常与图结构（例如社交网络，引文网络和万维网）融合在一起。图神经网络（GNN）作为此类图数据的强大深度表示学习方法，在网络分析上表现出了卓越的性能，并引起了相当大的研究兴趣。例如，[10，20，24]利用深神网络来学习基于节点特征和图结构的节点表示。一些工作通过将卷积操作推广到图从而提出图卷积网络。深度学习的最新研究趋势是注意力机制，该机制可处理大小可变的数据，并鼓励模型专注于数据中的最突出部分。注意力机制已被证明其在深度神经网络框架中的有效性，并被广泛应用于各种应用，例如文本分析，知识图谱和图像处理。图注意力网络（GAT）是一种新型的卷积图神经网络，其对仅包含一种类型的节点或链接的同构图应用注意力机制。
　　尽管注意力机制在深度学习中取得了成功，但还缺乏考虑异构图的图神经网络框架。实际上，现实世界的图通常带有多种类型的节点和边，其被称为异构信息网络（HIN）。为了方便起见，我们在本文中统一称其为异构图。由于异构图包含更全面的信息和丰富的语义，因此已广泛用于许多数据挖掘任务。Meta-Path是一种连接两个对象的复合关系，其被广泛用于捕获语义。以图1（a）中显示的电影数据IMDB为例，它包含三种类型的节点，包括电影，演员和导演。两部电影之间的关系可以由元路径Movie-Actor-Movie (MAM) 表示，描述了具有共同演员的关系，而Movie-Director-Movie (MDM) 表示它们具有同一个导演。可以看出，根据元路径，异构图中节点之间的关系可能具有不同的语义。由于异构图的复杂性，传统的图神经网络不能直接应用于异构图。
　　基于上述分析，在为异构图设计具有注意力机制的图神经网络结构时，我们首先需要解决以下几种需求。
　　Heterogeneity of graph。异构性是异构图的固有属性，即包含各种类型的节点和边。例如，不同类型的节点具有不同的特征，它们的特征可能处于不同的特征空间中。仍然以IMDB为例，演员的特征可能涉及性别，年龄和国籍。另一方面，电影的特征可能涉及情节和演员。如何处理这种复杂的结构信息并同时保留多样化的特征信息是需要解决的紧迫问题。
　　Semantic-level attention。异构图涉及多种有意义且复杂的语义信息，通常由元路径表示。异构图中不同的元路径可能会提取不同的语义信息。如何选择最有意义的元路径并融合特定任务的语义信息是一个开放问题。语义级的注意力旨在学习每个元路径的重要性并为其分配适当的权重。仍然以IMDB为例，The Terminator可以通过Movie-Actor-Movie（由Schwarzenegger出演）或通过Movie-Year-Movie（均在1984年拍摄）连接到The Terminator 2。但是，当需要识别电影 The Terminato的类型时，MAM通常扮演更重要的角色，而不是MYM。因此，将不同的元路径看作同样重要是不切实际的，着将削弱某些有用元路径提供的语义信息。
　　Node-level attention。在异构图中，可以通过各种类型的关系（例如meta-path）连接节点。给定一个元路径，每个节点都有许多基于元路径的邻居。如何区分邻居间的微妙差异并选择一些有信息的邻居。对于每个节点，节点级的注意力旨在学习基于元路径的邻居的重要性，并为其分配不同的注意力值。仍然以IMDB为例，当使用元路径 Movie-Director-Moive时，The Terminator 将通过导演James Cameron 连接到Titanic和The Terminator 2。为了更好地识别The Terminator的类型是科幻电影，该模型应更加关注The Terminator 2，而不是Titanic。因此，将需要如何设计一个模型，该模型可以发现邻居的细微差异并正确地学习其权重。
　　在本文中，我们提出了一个新的异构图注意力网络，名为HAN，该网络考虑了节点级和语义级的注意力。特别是，给定节点特征作为输入，我们使用特定于类型的变换矩阵将不同类型的节点特征映射到同一空间中。然后，节点级的注意力能够学习节点与基于元路径的邻居之间的注意力值，而语义级别的注意力旨在学习异构图中特定任务的不同元路径的注意力值。基于两个级别学习的注意力值，我们的模型可以以分层结构的方式获得邻居和多个元路径的最佳组合，从而使学习的节点嵌入能够更好地捕获异构图复杂的结构和丰富的语义信息。然后，我们可以以端到端方式通过反向传播来优化整体模型。
　　我们工作的贡献如下所示：

据我们所知，这是使用注意力机制研究异构图神经网络的首次尝试。我们的工作使图神经网络能够直接应用于异质图，并进一步促进基于图的应用。
我们提出了一个新的异构图注意力网络（HAN），其中包括节点级和语义级的注意力。基于这种分层的结构设计，所提出的HAN可以同时考虑节点和元路径的重要性。此外，我们的模型是高效率的，具有与元路径的节点对数目相关的线性复杂性，着可以应用于大规模异构图。
我们进行广泛的实验来评估所提出的模型的性能。结果表明，通过与最优模型进行比较，该模型具有显著优越性。更重要的是，通过分析分层注意力机制，提出的HAN证明了其在异构图分析中的潜在的良好可解释性。

2.相关工作

2.1 图神经网络

[10，24]中引入了旨在扩展深度神经网络以处理任意图结构数据的图神经网络（GNN）。Yujia Li et al. 提出了一个传播模型，该模型能够整合门控循环单元以在所有节点上传播信息。最近，在图结构数据上使用卷积操作受到广泛研究。图卷积神经工作通常分为两类，即谱域和非谱域。一方面，频谱方法可与图的谱表示一起使用。Joan Bruna et al. 通过找到相应的傅立叶基，将卷积扩展到一般图。Michaël et al. 利用K阶Chebyshev多项式来近似谱域中的平滑滤波器。Kipf et al. 提出了一种频谱方法，名为图卷积网络，该方法通过谱图卷积的局部一阶近似设计图卷积网络。另一方面，我们还采用非谱方法，该方法直接在图上定义了卷积，并在空间上相邻节点组上操作。Hamilton et al. 引入GraphSAGE，其在具有固定大小的邻居节点上执行基于神经网络的聚合器。它可以通过汇总节点邻居的特征来学习一个函数，从而生成嵌入。
　　注意力机制，例如self-attention和soft-attention，已成为深度学习中最具影响力的机制之一。以前的一些工作介绍了在图上应用的注意力机制，例如推荐。受注意力机制的启发，Graph Attention Network被提出，以学习节点与其邻居之间的重要性，并融合邻居表示以执行节点分类。但是，以上图神经网络无法处理各种类型的节点和边，只能应用于同构图。

2.2 网络嵌入

网络嵌入，即网络表示学习（NRL），被提出以将网络嵌入到低维空间，同时保留网络结构和属性，以便可以将学习的嵌入应用于下游网络任务。例如，基于随机游走的方法，基于深度神经网络的方法，基于矩阵分解的方法以及其他方法（LINE）。然而，所有这些算法都是针对同构图提出的。在[5，11]中可以找到一些详尽的信息。
　　异构图嵌入主要关注去保留基于元路径的结构化信息。ESim接受用户定义的元路径，作为在用户嵌入空间中学习顶点向量的指导，以进行相似性搜索。即使通过ESim可以利用多个元路径，它也无法学习元路径的重要性。为了达到最佳性能，ESim需要进行网格搜索以找到元路径的最优权重。这种方法很难找到特定于任务的最佳组合。Meta-path2vec设计基于随机游走的元路径，并利用skip-gram执行异构图嵌入。但是，Metapath2VEC只能使用一个元路径，并且可能会忽略一些有用的信息。与Meta-path2vec相似，HERec提出了一种类型约束策略，以过滤节点序列并捕获异构图中反映的复杂语义。HIN2Vec执行了多个预测训练任务，以同时学习节点和元路径的潜在向量。 Chen et al.提出了一个名为PME的投影度量嵌入模型，该模型可以通过欧式距离保持节点接近。PME将不同类型的节点投射到相同的关系空间中，并进行异构链接预测。为了研究异质图描述问题，Chen et al.提出的HEER可以通过边表示嵌入异构图。 Fan et al.提出了一个嵌入模型metagraph2vec，其中结构和语义均被最大化保存以用于恶意软件检测。Sun et al. 提出了meta-graph-based 网络嵌入模型，该模型同时考虑了元图值班费所有元信息的隐藏关系。总而言之，所有上述算法都不考虑异构图表示学习中的注意力机制。

3.PRELIMINARY

　　异构图是一种特殊的信息网络，它包含多种类型的对象或多种类型的边。
　　Definition 3.1 Heterogeneous Graph。一个异构图，被表示为G=(V,E)\mathcal G=(\mathcal V,\mathcal E)G=(V,E)，其由对象集V\mathcal VV和链接集E\mathcal EE组成。一个异构图也与节点类型映射函数ϕ:V→A\phi:\mathcal V→\mathcal Aϕ:V→A和链接类型映射函数ψ:E→R\psi:\mathcal E→\mathcal Rψ:E→R相关联。A\mathcal AA和R\mathcal RR表示预定义的对象类型和链接类型的集合，其中∣A∣+∣R∣>2|\mathcal A|+|\mathcal R|>2∣A∣+∣R∣>2。
　　Example。如图1（a）所示，我们构造了一个异构图来对IMDB进行建模。它由多种类型的对象（演员(A)，电影(M)，导演(D)）和关系（电影与导演之间的拍摄关系，演员与电影之间的角色扮演关系）组成。
　　在异构图中，可以通过不同的语义路径连接两个对象，这些对象称为元路径。
　　Definition 3.2 Meta-path。一个元路径Φ\PhiΦ被定义为A1→R1A2→R2⋯→RlAl+1A_1\mathop{→}\limits^{R_1}A_2\mathop{→}\limits^{R_2}\cdots \mathop{→}\limits^{R_l}A_{l+1}A1→R1A2→R2⋯→RlAl+1（缩写为A1A2⋯Al+1A_1A_2\cdots A_{l+1}A1A2⋯Al+1），其描述了一个在对象A1A_1A1和Al+1A_{l+1}Al+1之间的组合关系R=R1◦R2◦⋯◦RlR=R_1◦R_2◦\cdots ◦R_lR=R1◦R2◦⋯◦Rl，其中◦◦◦表示关系上的组合算子。
　　Example。如图1（a）所示，可以通过多个元路径连接两部电影，例如Movie-Actor-Movie (MAM)和Movie-Director-Movie (MDM)。不同的元路径总是表示不同的语义。例如，MAM意味着共同演员的关系，而MDM表示它们是由同一导演拍摄的。
　　给定一个元路径Φ\PhiΦ，每个节点存在一组基于元路径的邻居，它们可以在异构图中表示各种结构信息和丰富的语义信息。
　　Definition 3.3 Meta-path based Neighbors。给定一个节点iii和一个异构图中的元路径Φ\PhiΦ，基于元路径的节点iii的邻居NiΦN^{\Phi}_iNiΦ被定义为通过元路径Φ\PhiΦ和节点iii相连的结点集合。请注意，节点的邻居包含自己。
　　Example。以图1（d）为例，给定元路径Movie-Actor-Movie，基于元路径的m1m_1m1的邻居包括m1m_1m1（本身），m2m_2m2和m3m_3m3。同样，基于元路径Movie-Director-Movie的m1m_1m1的邻居包括m1m_1m1和m2m_2m2。显然，基于元路径的邻居可以利用异构图中不同的结构信息。我们可以通过邻接矩阵序列的乘法来获得基于元路径的邻居。
　　已经提出了图神经网络来处理任意的图结构数据。但是，它们都是为同构网络而设计的。由于元路径和基于元路径的邻居是异构图中的两个基本结构，因此我们将提出一个新的图神经网络，以处理异构图数据，且能够利用节点和元路径的细微差异。表1总结了我们将在本文中使用的一些符号。

4.THE PROPOSED MODEL

　　在本节中，我们提出了一个新的半监督图神经网络，用于处理异构图。我们的模型遵循分层的注意力结构：节点级的注意力→语义级的注意力。图2显示了HAN的整体框架。首先，我们提出一个节点级的注意，以学习基于元路径邻居的权重，并将其聚合以获取特定语义的节点嵌入。之后，HAN可以通过语义级注意力分辨元路径间的差异，并基于特定任务，获得特定语义节点嵌入的最优权重组合。

4.1 Node-level Attention

在为每个节点汇总来自元路径邻居的信息之前，我们应该注意到，每个节点的基于元路径的邻居都起着不同的作用，并在学习针对特定任务的节点嵌入时表现出不同的重要性。在这里，我们引入节点级的注意力以在异构图中学习每个节点的基于元路径邻居的重要性，并汇总这些有意义的邻居表示以形成节点嵌入。
　　由于节点的异构性，不同类型的节点具有不同的特征空间。因此，对于每种类型的节点（例如，带有类型ϕi\phi_iϕi的节点），我们设计了特定于类型的变换矩阵MϕiM_{\phi_i}Mϕi，以将不同类型的节点的特征映射到同一特征空间中。与[13]不同，特定于类型的变换矩阵基于节点类型，而不是边类型。映射过程可以表示如下：
hi′=Mϕi⋅hi,(1)\textbf h'_i=M_{\phi_i}\cdot \textbf h_i,\tag{1}hi′=Mϕi⋅hi,(1)
其中hih_ihi和hi′h'_ihi′分别是节点

Heterogeneous Graph Attention Network翻译相关推荐

HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019
论文题目:Heterogeneous Graph Attention Network (HAN)异构图注意力网络作者:北京邮电大学Xiao Wang,Houye Ji等人来源:WWW2019 论文 ...
HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW 2019
文章目录 1 相关介绍背景元路径 meta-path 异构图和同构图相关工作 Graph Neural Network Network Embedding 贡献 2 HAN模型 2.1 Node ...
【论文阅读】Heterogeneous Graph Attention Network
异质图注意网络摘要 1 引言 2 相关工作 2.1 GNN 2.2 网络嵌入 3 准备工作 3.1 异质图(Heterogeneous Graph) 3.2 元路径(Meta-path) 3.3 基 ...
异构图注意力网络Heterogeneous Graph Attention Network ( HAN )
文章目录前言一.基础知识 1.异构图(Heterogeneous Graph) 2.元路径 3.异构图注意力网络二.异构图注意力网络 1.结点级别注意力(Node-level Attention ...
异构图注意力网络（Heterogeneous Graph Attention Network）
Heterogeneous Graph Attention Network 这篇论文将会发表在WWW 2019会议上. ABSTRACT GNN在深度学习领域表现出了强大的性能.但是,在包含不同节点和 ...
读论文《DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation》
0.Summary: Title: DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation Co ...
HAN:Heterogeneous Graph Attention Network 算法理论
HAN:Heterogeneous Graph Attention Network 前置知识: 异构图:包含不同类型节点和链接的异构图 Meta-path 元路径: 链接两个对象的复合关系,是一种广泛 ...
【论文解读 WWW 2019 | HAN】Heterogeneous Graph Attention Network
论文题目:Heterogeneous Graph Attention Network 论文来源:WWW 2019 论文链接:https://arxiv.org/abs/1903.07293v1 代码链 ...
【论文分享】☆☆☆ 异质图神经网络模型 HAN：Heterogeneous Graph Attention Network
题目:Heterogeneous Graph Attention Network 链接:https://dl.acm.org/doi/abs/10.1145/3308558.3313562 源码:ht ...
异构图注意力网络 Heterogeneous Graph Attention Network
# Heterogeneous Graph Attention Network 文章目录 ABSTRACT KEYWORDS INTRODUCTION RELATED WORK G ...

Heterogeneous Graph Attention Network翻译

摘要