论文来源：AAAI2020
论文链接
代码链接

现实世界中的数据通常包含了多种实体类型，这些实体通过不同的实体关系互相关联形成了错综复杂的异构信息网络。为了有效地挖掘业务中广泛存在的异构信息网络，滴滴AI Labs团队自主研发了一种基于注意力机制的异构图神经网络模型（HetSANN），该模型无需使用传统模型中由专家定义的元路径，能够直接自动化地处理、挖掘原异质信息网络中丰富的语义信息，为网络中的实体提取出更有效的编码表示以应用到实体分类等下游任务中。

相较之前方法的局限性，本文的主要创新点为：

提出的HetSANN模型利用基于注意力机制的图卷积神经网络直接对异质信息网络进行嵌入式表示学习，不再需要用人为定义的元路径对异质信息网络进行处理；
文本还探索了异质信息网络中关系的方向性、实体类型变换过程中的循环一致性、以及HetSANN在多任务学习中的应用。

异质信息网络的嵌入式表示学习

异质信息网络（又称异质图）是一种包含了两种以上顶点类型或关系类型的图结构数据（如图1a）。为了能够将异质图中蕴含的丰富语义信息嵌入到低维向量空间中，当前的主要方法是通过元路径将异质信息网络转化为同质图，再利用同质图的嵌入式表示方法学习该网络的向量表示（如图1b）。以HAN为例，该方法为学术异构信息网络定义了元路径“作者->文章->会议->文章->作者”来表示网络中“两个作者在同一个会议中发表过文章”的语义，进而得到了在该语义（元路径）上的同质图，最后利用图神经网络对该同质图进行嵌入式表示学习。

基于元路径的异构图表示学习方法依赖于领域专家预先定制的元路径，然而异质信息网络中蕴含的丰富语义信息往往很难用多个元路径穷尽。此外，在使用元路径来寻找目标顶点的邻居节点的过程中丢失了元路径途经的丰富信息，例如途经的链接边类型、顶点属性等。因此，如何在不损失异构信息的情况下对异构信息网络进行嵌入式表示学习是一项巨大的挑战。

为了能够得到更丰富的语义表示向量，本文提出了一种不再基于元路径的异构图嵌入式表示学习方法，命名为HetSANN（Heterogeneous Graph Structural Attention Neural Network）。如图2所示，HetSANN直接对原始的异质信息网络进行图结构卷积操作，通过目标任务（例如目标顶点分类等）的引导来挖掘异质信息网络中的结构信息并学习顶点的低维嵌入式表示。HetSANN的每一层为专门为异质结构网络设计的具有类型感知能力的注意力卷积层（Type-aware Attention Layer，TAL）。

为了提高模型的语义捕捉能力，每个TAL采用多头注意力机制对顶点的邻域节点进行信息聚合。如图3所示，TAL中的每一个注意力头都由两部分组成：1）顶点类型空间转换操作；2）邻域信息的聚合。以图中的顶点P1为例，首先我们将顶点P1以及它的邻居节点映射到P1节点类型（文章）的隐式空间中，即，将文章类型的邻居顶点通过WP,P(l+1,m)W_{P,P}^{(l+1,m)}WP,P(l+1,m)进行如公式（1）所示的线性变换映射到“文章”空间中，作者类型的邻居顶点通过WP,A(l+1,m)W_{P,A}^{(l+1,m)}WP,A(l+1,m)由原本的“作者”空间映射到“文章”空间中，以此类推，P1的一阶邻居节点均映射到了“文章”这一隐式空间中来。

随后，我们根据P1与这些邻居节点的关系类型计算每条边的注意力得分：

其中ar(l+1,m)\mathbf{a}_r^{(l+1,m)}ar(l+1,m)是针对关系类型r的注意力参数。由此，关于P1的所有链接边均可以计算得到一个与链接顶点类型和关系类型相关的注意力分数，在进行softmax归一化后便得到了它们对应的权重：

随后我们可以根据计算得到的权重对P1顶点的邻居信息进行加权聚合，从而得到了P1顶点在该头m的隐含层表示：

最后我们将TAL层中的M个注意力头连接起来作为该l+1层的节点隐含层表示：

考虑有向边关系的成对性

有向边通常蕴含了链接和被链接这两种语义关系，例如图1中的“write”和“written”等，这种成对的语义关系实际上互为关联，但在上述的注意力得分计算过程中，公式3中的计算方式难以捕捉这种成对关系的关联性。为此，我们提出了“语态共享”的注意力分数计算方式，即，共享成对的关系类型 rrr和 r~\tilde{r}r~的注意力参数，并使它们具有互反关系：ar~(l,m)=−ar~(l,m)∈Rnϕ(j)(l,m)\mathbf{a}_{\tilde{r}}^{(l,m)}=-\mathbf{a}_{\tilde{r}}^{(l,m)}\in\mathbb{R}^{n_{\phi(j)}^{(l,m)}}ar~(l,m)=−ar~(l,m)∈Rnϕ(j)(l,m) 。将公式3改写为：

由此，采用该“语态共享”的注意力机制能够捕捉有向边关系的成对性，从而帮助模型获得更好的嵌入式表示。

实体类型变换中的循环一致性

为了保证不同类型的顶点经过公式1中的变换后映射到同一隐式空间中，我们引入了循环一致性损失。如图4所示，顶点类型为 pjp_jpj的顶点经过 Wpj,pj(l+1,m)W_{p_j,p_j}^{(l+1,m)}Wpj,pj(l+1,m)变换所到达的空间，应与其经过其它顶点类型 pip_ipi再通过 Wpj,pi(l+1,m)W_{p_j,p_i}^{(l+1,m)}Wpj,pi(l+1,m)映射所到达的空间保持一致。

由此，我们的循环一致性损失函数为：

HetSANN在多任务学习中的应用

实验中所用到的数据集信息如下表所示：

与此前基于元路径的异质图嵌入式表示学习方法不同，HetSANN能够同时学习网络中所有节点的嵌入式表示，而不再仅仅局限于对某一类目标顶点的学习。因此，HetSANN在多任务学习上具有极大的优势，即能够对不同的顶点类型进行目标任务学习。同时，多任务学习也大大降低了HetSANN模型过拟合的风险，提高了嵌入式表示的可靠性和鲁棒性。本文在顶点分类任务上进行了相关实验，表2和图5均显现了HetSANN相比于基于元路径方法的优越性。

在三个数据集上，融合了上述3种策略的HetSANN.M.R.V相比最具竞争力的GAT模型提高了3%-13%的微平均F1、3%~19%的宏平均F1。值得注意的是，HAN在DBLP数据集中“文章”顶点分类任务上取得了完美的表现，但其在“作者分类”任务上的表现却不尽人意。这是由于DBLP网络中存在的“会议”顶点能够帮助HAN通过“文章->会议->文章”元路径直接将发表在同一领域的文章关联到一起，使得HAN能够很准确的判断文章所属的类型。但在没有“会议”顶点的AMiner数据集中，HAN很难通过定义元路径来轻易的获得语义提示，因此HAN在AMiner的表现较差。

同时，作者也对GCN的层数LLL，超参数β1\beta_1β1和β2\beta_2β2的灵敏性进行了分析

纵观HetSANN在3个数据集的表现，HetSANN能够在没有任何类似元路径的语义提示的情况下获得较好的表现，预示着HetSANN能够对异质图进行有效的嵌入式表示学习以及HetSANN嵌入式表示的鲁棒性。进一步的工作可以考虑将不同类型节点的异质信息融合进来。

HetSANN：基于注意力模型，自动挖掘异质网络语义信息 AAAI2020相关推荐

基于注意力机制的图卷积网络预测药物-疾病关联
BIB | 基于注意力机制的图卷积网络预测药物-疾病关联智能生信人工智能×生物医药关注科学求真赢 10 万奖金 · 院士面对面 9 人赞同了该文章今天给大家介绍华中农业大学章文教授团队在 ...
基于注意力模型和卷积循环神经网络的中文自然场景文本识别
最近,在进行相关中文文本识别的工作,查阅了许多论文.最终决定参考谷歌的基于注意力机制的街景文本识别的论文:"Attention-based Extraction of Structured ...
大数据【企业级360°全方位用户画像】基于RFE模型的挖掘型标签开发
上一篇博客,已经为大家介绍了基于RFM(用户价值模型)的挖掘型标签开发过程(
大数据【企业级360°全方位用户画像】基于USG模型的挖掘型标签开发
在上一篇博客,博主已经为大家简单地介绍了USG模型和决策树
ICCV2021 | SMCA：即插即用的共同注意力模型，可使DETR收敛加速10倍
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达计算机视觉领域顶级会议 ICCV(国际计算机视觉大会)于10月11日 ...
【文献阅读笔记】之基于注意力机制的深度学习路面裂缝检测
中文,计算机辅助设计与图形学学报,第 32 卷第 8 期,2020 年 8 月. DOI: 10.3724/SP.J.1089.2020.18059 摘要: 为实现自动准确地检测路面裂缝, 提升路面 ...
基于注意力时空图神经网络的交通预测
文章信息本周阅读的论文是题目为<Learning Dynamics and Heterogeneity of Spatial-Temporal Graph Data for Traffic F ...
基于注意力机制的深度协同推荐模型
摘要针对传统矩阵分解算法无法挖掘深层隐含信息,以及未能充分利用用户和项目评论的问题,提出基于注意力机制的深度协同推荐模型.首先采用注意力机制对评论文本赋权,使用并行的卷积神经网络分别提取用户评论和项 ...
SIGIR 2022 | 基于注意力超图网络的交互协同聚类
©作者 | 杨天持单位 | 北邮GAMMA Lab博士生来源 | 北邮GAMMA Lab 论文标题: Co-clustering Interactions via Attentive Hyperg ...

HetSANN：基于注意力模型，自动挖掘异质网络语义信息 AAAI2020

异质信息网络的嵌入式表示学习

考虑有向边关系的成对性

实体类型变换中的循环一致性

HetSANN在多任务学习中的应用

HetSANN：基于注意力模型，自动挖掘异质网络语义信息 AAAI2020相关推荐

最新文章

热门文章