前言

异构图注意力网络Heterogeneous Graph Attention Network ( HAN )学习笔记。

一、基础知识

1.异构图（Heterogeneous Graph）

同构图是指结点类型相同、边类型也相同的图。异构图则是边和结点类型总和大于2的图，如下所示。

2.元路径

3.异构图注意力网络

中心思想：通过元路径生成不同元路径下的同构子图，在不同子图中进行消息传递聚合信息( Node-Level Attention )，最后将各元路径下子图聚合出的向量注意力加权聚合后进行后道传播( Sematic-Level Attention )。

为更清晰的解释原理，以下将逐步拆解。
（1）第一步

异构图如图片左边所示。根据M-A-M和M-D-M两种元路径，将有“介质”A或D连接的M之间视为通路（一阶邻居），可以拆解异构图为图片右边所示的子图。

二、异构图注意力网络

1.结点级别注意力（Node-level Attention）

图取自论文原文

节点注意力的计算。
hi′=Mϕi⋅hi\mathbf{h}_i^{\prime}=\mathbf{M}_{\phi_i} \cdot \mathbf{h}_i hi′=Mϕi⋅hi

iii为第i个主结点。
jjj为第j个邻居结点。
MΦiM_{\Phi_i}MΦi 是模型需要训练的线性变化矩阵。 MΦiM_{\Phi_i}MΦi 主要作用是提高拟合能力。
hi\mathbf{h}_ihi为结点的特征向量。
αijΦ=softmax⁡j(eijΦ)=exp⁡(σ(aΦT⋅[hi′∥hj′]))∑k∈NiΦexp⁡(σ(aΦT⋅[hi′∥hk′]))\alpha_{i j}^{\Phi}=\operatorname{softmax}_j\left(e_{i j}^{\Phi}\right)=\frac{\exp \left(\sigma\left(\mathbf{a}_{\Phi}^{\mathrm{T}} \cdot\left[\mathbf{h}_i^{\prime} \| \mathbf{h}_j^{\prime}\right]\right)\right)}{\sum_{k \in \mathcal{N}_i^\Phi} \exp \left(\sigma\left(\mathbf{a}_{\Phi}^{\mathrm{T}} \cdot\left[\mathbf{h}_i^{\prime} \| \mathbf{h}_k^{\prime}\right]\right)\right)} αijΦ=softmaxj(eijΦ)=∑k∈NiΦexp(σ(aΦT⋅[hi′∥hk′]))exp(σ(aΦT⋅[hi′∥hj′]))
NiΦN_i^{\Phi}NiΦ 代表在元路径 Φ\PhiΦ 下节点 iii 的邻居集。如图中左右两个ziΦz_i^\PhiziΦ周围的结点1、2、3…8
aijΦa_{i j}^{\Phi}aijΦ 代表在元路径 Φ\PhiΦ 下邻居节点 jjj 传递消息至主节点 iii 的注意力。
αΦT\alpha_{\Phi}^TαΦT 是模型需要训练的线性变化矩阵，更多的作用是调整形状。
∣∣||∣∣为拼接符号。式子中是将两个节点的线性变换后的特征向量拼接起来。

进行将注意力作为权重的加权求和计算(左边的公式), 或者多头注意力计算(右边的公式)。

ziΦ=σ(∑j∈NiΦαijΦ⋅hj′)ziΦ=∥k=1Kσ(∑j∈NiΦαijΦ⋅hj′)\mathrm{z}_i^{\Phi}=\sigma\left(\sum_{j \in \mathcal{N}_i^{\Phi}} \alpha_{i j}^{\Phi} \cdot \mathbf{h}_j^{\prime}\right) \quad \mathrm{z}_i^{\Phi}=\|_{k=1}^K \sigma\left(\sum_{j \in \mathcal{N}_i^{\Phi}} \alpha_{i j}^{\Phi} \cdot \mathbf{h}_j^{\prime}\right) ziΦ=σ⎝⎛j∈NiΦ∑αijΦ⋅hj′⎠⎞ziΦ=∥k=1Kσ⎝⎛j∈NiΦ∑αijΦ⋅hj′⎠⎞

ziΦz_i^{\Phi}ziΦ 代表在元路径 Φ\PhiΦ 下进行一轮消息传递后代表节点 iii 的特征向量。
σ\sigmaσ为激活函数。

2.语义级别注意力（Semantic-level Attention）

语义级别注意力的计算。
wΦp=1∣V∣∑i∈VqT⋅tanh⁡(W⋅ziΦp+b)w_{\Phi_p}=\frac{1}{|\mathcal{V}|} \sum_{i \in \mathcal{V}} \mathbf{q}^{\mathrm{T}} \cdot \tanh \left(\mathbf{W} \cdot \mathbf{z}_i^{\Phi_p}+\mathbf{b}\right) wΦp=∣V∣1i∈V∑qT⋅tanh(W⋅ziΦp+b)

VVV 代表所有节点的数量。 q,W,bq, W, bq,W,b 是此处模型需要训练的参数。
公式的意义代表对元路径 Φp\Phi^pΦp 下生成的子图中所有的节点都进行过消息传递得到每个节点的向量表示 ziΦpz_i^{\Phi_p}ziΦp 后。进行线性变化再将形状调整至一维标量后取个平均值。
对上述的结果进行Sotfmax归一化作为语义级别的注意力。
βΦp=exp⁡(wΦp)∑p=1Pexp⁡(wΦp)\beta_{\Phi_p}=\frac{\exp \left(w_{\Phi_p}\right)}{\sum_{p=1}^P \exp \left(w_{\Phi_p}\right)} βΦp=∑p=1Pexp(wΦp)exp(wΦp)

最终注意力的加权求和。
Z=∑p=1PβΦp⋅ZΦp\mathbf{Z}=\sum_{p=1}^P \beta_{\Phi_p} \cdot \mathbf{Z}_{\Phi_p} Z=p=1∑PβΦp⋅ZΦp

公式中的 ZΦPZ_{\Phi_P}ZΦP 代表在元路径 ppp 下生成的子图 Φp\Phi_pΦp 的所有节点集合 ZΦP={z1Φp,z2Φp…znΦp}∘Z_{\Phi_P}=\left\{z_1^{\Phi_p}, z_2^{\Phi_p} \ldots z_n^{\Phi_p}\right\}_{\circ}ZΦP={z1Φp,z2Φp…znΦp}∘
ZZZ 即代表最终经过HAN网络层传递一轮后的节点特征向量集合 Z={z1,z2…zn}Z=\left\{z_1, z_2 \ldots z_n\right\}Z={z1,z2…zn} 。

总结

异构图注意力网络Heterogeneous Graph Attention Network ( HAN )相关推荐

异构图注意力网络 Heterogeneous Graph Attention Network
# Heterogeneous Graph Attention Network 文章目录 ABSTRACT KEYWORDS INTRODUCTION RELATED WORK G ...
深入理解图注意力机制（Graph Attention Network）
参考来源:https://mp.weixin.qq.com/s/Ry8R6FmiAGSq5RBC7UqcAQ 1.介绍图神经网络已经成为深度学习领域最炽手可热的方向之一.作为一种代表性的图卷积网络, ...
【论文阅读】Heterogeneous Graph Attention Network
异质图注意网络摘要 1 引言 2 相关工作 2.1 GNN 2.2 网络嵌入 3 准备工作 3.1 异质图(Heterogeneous Graph) 3.2 元路径(Meta-path) 3.3 基 ...
HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW 2019
文章目录 1 相关介绍背景元路径 meta-path 异构图和同构图相关工作 Graph Neural Network Network Embedding 贡献 2 HAN模型 2.1 Node ...
GNN algorithm(4): HAN, Heterogeneous Graph Attention Network
paper: Heterogeneous Graph Attention Network | The World Wide Web Conference 目录 1. background (1) he ...
HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW2019
论文题目:Heterogeneous Graph Attention Network (HAN)异构图注意力网络作者:北京邮电大学Xiao Wang,Houye Ji等人来源:WWW2019 论文 ...
异构图注意力网络（Heterogeneous Graph Attention Network）
Heterogeneous Graph Attention Network 这篇论文将会发表在WWW 2019会议上. ABSTRACT GNN在深度学习领域表现出了强大的性能.但是,在包含不同节点和 ...
【论文分享】☆☆☆ 异质图神经网络模型 HAN：Heterogeneous Graph Attention Network
题目:Heterogeneous Graph Attention Network 链接:https://dl.acm.org/doi/abs/10.1145/3308558.3313562 源码:ht ...
图学习——04.HAN(异构图注意力网络)
HAN(Heterogeneous Graph Attention Network) 包含不同类型节点和连接的异构图异构图的定义定义如下图 V代表顶点,A是顶点所属的类别,ε代表边,R是边所属的类 ...

异构图注意力网络Heterogeneous Graph Attention Network ( HAN )

文章目录

前言