论文标题：Meta-GNN：Metagraph Neural Network for Semi-supervised learning in Attributed Heterogeneous Information Networks

作者：Aravind Sankar, Xinyang Zhang, Kevin Chen-Chuan Chang

单位：Department of Computer Science, University of Illinois, Urbana-Champaign, USA

论文链接：https://dl.acm.org/doi/pdf/10.1145/3341161.3342859

论文引用：Sankar A , Zhang X , Chang C C . Meta-GNN: metagraph neural network for semi-supervised learning in attributed heterogeneous information networks[C]// ASONAM '19: International Conference on Advances in Social Networks Analysis and Mining. 2019.

概述

难点

AHIN中的半监督学习相对于同构网络以及HIN更困难。例如：对DBLP中的作者进行分类，他的共同作者以及出版的期刊都是上下文节点(context nodes)，提供了相关性特征，在对作者分类时需要考虑进去。但是，这些上下文节点有不同的属性且发挥不同的作用：(a) 不同的节点类型（期刊<-->共同作者），(b) 同一节点类型但不同的结构取向（引用<->被引用）

作用

有了元图卷积，就可以有以下两个insights：

高阶语义局部性：元图(meta-graph)通过特定的子结构指定语义关系，提供了一个框架用于捕获高阶语义局部性（非直接邻居），例如通过共同作者这种关系（类似于元路径，meta-path）
准确的语义角色：根据本地上下文节点的节点类型和结构连接模式对其进行准确的语义角色识别，例如共同作者和出版期刊

论文贡献

利用元图来定义关注的节点的局部上下文(local context)或感受野(receptive field)，以此介绍了一种新颖的用于AHIN(Attributed Heterogeneous Information Networds)的图卷积
提出新颖的神经结构——Meta-GNN，用到了多层元图卷积层，使用注意力机制来学习每个节点个性化的元图权重
在多个真实数据集进行实验，证明Meta-GNN的有效性

定义

几个节点的类型

target node，对象节点，在一个元图中的研究对象，是主体；

context node，上下文节点相对于target node的关联节点；

auxiliary node，辅助节点，用于关联target node和context node的中间节点。

AHIN

即属性异构信息网络，Attributed-HIN。图的基本表示是 $Graph=(Vertex, Edge)$ ，而AHIN带有属性，那么表示为 $G=(V,E,X)$ ，其中 $X$ 就是属性矩阵， $N\times D$ 维（ $N$ 表示图中几点的数量， $D$ 表示属性的维度）。由于有不同类型的节点，而每个节点类型可能属于不同的特征空间，因此作者将所有类型的特征连接起来，用零填充不属于这个数据类型的特征。

meta-graph

熟悉HIN的同学一定知道meta-path，meta-graph和meta-path的概念很像，但是meta-path与meta-graph不同在于前者从起点到终点只能存在一条路径，而后者可以存在多条路径。我们看图1，1(a)中的 $M_3$ 可以看作是一个meta-path，也就是说meta-path是meta-graph的一个特例。

作者给出了meta-graph的数学描述：

Definition: A metagraph $M$ with target node $t_M$ , context node $c_M$ is defined as $M = (V_M,E_M ,t_M ,c_M ,B_M )$ with node type mapping $l_M:V_Mx \mapsto L$ where $V_M$ is the set of nodes with $t_M ,c_M \in V_M$ , $E_M$ is the set of links and $B_M=V_M-{\left \{ \left.t_M,c_M \right \} \right.$ is the set of auxiliary nodes.

meta-graph实例

定义一个 $S_u=(V_s,E_s)$ 表示meta-graph的实例，其中 $u$ 表示目标节点(target node)，满足 $V_s\subseteq V,E_s\subseteq E$ ，即实例中的边都是图中的边，实例中的点都是图中的点，很好理解；并且要满足一个映射 $\psi _S:V_S \mapsto V_M$ ，这个映射表示的是，从元图的实例映射到元图M，需要满足1）元图实例的目标节点映射到元图中需要是元图M中的 $t_M$ ；2）元图实例的节点映射到元图中需要是相同类型的；3）实例中的边需要是元图中定义的边。

meta-GNN网络

卷积层

定义公式为， $H=\sigma(\hat{A}XW)$ ，也就是普通的GCN卷积层，其中 $\hat{A}=D^{-\frac{1}{2}}AD^{-\frac{1}{2}}+I_N$ ， $D$ 表示度矩阵， $A$ 表示邻接矩阵，只是这个邻接矩阵不是同构图中的邻居关系而是元图中target node和context node的连接关系， $I_N$ 是单位对角矩阵。而目前还没有定义出 $A$ 的表示，接下来作者就是要讲述如何定义这个 $A$ 。

定义下感受野(receptive field)：target node $u$ 的关于元图 $M$ 的感受野是所有元图 $M$ 的元图实例，用 $I^M_u$ 表示。

另外，在每个元图中，两个节点的即使是相同类型的也可能对元图起不同的作用，例如图1(a)中的 $M_2$ 元图， $P_1$ 和 $P_2$ 的节点类型相同但是要表达引用和被引用的关系，是不能互换的，因此作者定义了语义角色(semantic roles)，定义为：在一个元图中，如果存在一个映射 $\Omega _M$ 使得在元图中，使得两个节点 $u,v$ 满足 $\Omega _M(u)=v,\Omega _M(v)=u$ 而其余节点都满足 $\Omega _M(x)=x$ ，那么 $u,v$ 有着相同的语义角色。简单来说图1(a)中的 $M_2$ 元图的 $P_1$ 和 $P_2$ 有着不同的语义角色而图1(a)中的 $M_1$ 元图的 $P_1$ 和 $P_2$ 有着相同的语义角色。那这个语义角色有什么用呢？作者在下面就用到了它。

在一个元图中，假设有 $K_M$ 种语义角色，那么除了target node之外的所有节点都可以映射到某一个语义角色，那么可以写成 $\phi_M:V_M-\left \{ t_M \right \} \mapsto \left \{ 1,\cdots ,K_M \right \}$ 。

接下来，就用这个语义角色来定义元图中的邻接矩阵 $A$ 了。定义A中的每个元素为

$A_{kij}^M=\sum _{S_{v_i}\in I_{v_i}^M,v_j \in V_S-\left \{ v_i \right \}}I(\phi_M(\psi _S(v_j))=k)$

这个公式比较长，用语言简单解释下，就是某个元图 $M$ 的邻接矩阵 $A$ 在目标节点 $v_i$ 上的邻接矩阵的计算内容为：对 $v_i$ 所有的元图实例 $S_{v_i}$ ，另外一个节点 $v_j$ 在这多个元图实例中语义角色为k的总数量。那么最终的A的维度是 $K_M \times N\times N$ ，有 $M$ 个这样的矩阵。那么原本的图卷积就变换形式用到meta-GNN中了，每个节点 $v_i$ 关于 $M$ 的卷积可以写成

$h^M(v_i) = \sigma (w_0x_i+\frac{1}{D_{ii}^M}\sum _{j=1}^N\sum _{k=1}^{K_M}w_kA_{kij}^Mx_j)$

其中 $x_i,x_j$ 分别表示节点 $i,j$ 的特征， $D_{ii}^M$ 表示在元图 $M$ 中节点 $i$ 的元图实例的数量，用来做normalization，写成矩阵形式就是

$H^M=\sigma (XW_0^M+(D^M)^{-1}\sum _{k=1}^{}K_M}A_k^MXW_k^M)$

最后作者使用注意力机制将这M个元图融合。

[论文阅读] (ASONAM2019) Meta-GNN: 属性异构网络中用于半监督学习的元图神经网络相关推荐

【论文翻译】HeteSim：异构网络中相关性度量的通用框架
原文链接:https://blog.csdn.net/Mrong1013967/article/details/115330139 HeteSim:异构网络中相关性度量的通用框架摘要相似性搜索是许 ...
论文笔记——HDD算法：异构网络中信息扩散的深度学习方法
HDD算法发表在knowledge-Based Systems上的一篇文章.有许多现实世界的复杂系统与多类型相互作用的实体,可以被视为异构网络,包括人类连接和生物进化.这类网络的主要问题之一是预测信 ...
【文献阅读】异构网络中的联邦优化——FedProx
本文是FedProx的论文,值得一看. 由于本文之前有简单看过一次,这次就不细读,就只读其中比较重要的部分也就是PedProx的实现和收敛证明. 定义 1:(-不精确解) 对于一个函数 ,其中 .我 ...
深度学习论文阅读目标检测篇（七）中英对照版：YOLOv4《Optimal Speed and Accuracy of Object Detection》
深度学习论文阅读目标检测篇(七)中英对照版:YOLOv4<Optimal Speed and Accuracy of Object Detection> Abstract 摘要 1. In ...
【推荐系统-＞论文阅读】Dynamic Graph Neural Networks for Sequential Recommendation（用于序列推荐的动态图神经网络）
Dynamic Graph Neural Networks for Sequential Recommendation(用于序列推荐的动态图神经网络) Mengqi Zhang, Shu Wu,Mem ...
【论文翻译】从进化和异质网络中表征和预测社区成员
从进化和异质网络中表征和预测社区成员摘要近年来,从web数据中挖掘不同类型的社区吸引了大量的研究工作.然而,现有的社区挖掘技术都没有考虑到web数据的动态性和异构性.在本文中,我们提出了从异构we ...
【电信学】【2019.03】5G异构网络中的移动性管理
本文为澳大利亚埃迪斯科文大学(作者:Mohammad Arifin Rahman Khan)的硕士论文,共91页. 近年来,由于智能手机.平板电脑和笔记本电脑等便携式设备的普及,移动数据流量呈指数级增 ...
m基于基站休眠的LTE-A异构网络中节能算法matlab仿真
目录 1.算法描述 2.仿真效果预览 3.MATLAB核心程序 4.完整MATLAB 1.算法描述要求 1.开发一个软件工具,可以直观地演示如何在LTE-A异构网络中通过基站的睡眠模式节约能源 2. ...
随机网络中通过Hebbian可塑性进行元学习(Meta-Learning through Hebbian Plasticity in Random Networks)
随机网络中通过Hebbian可塑性进行元学习(Meta-Learning through Hebbian Plasticity in Random Networks) 概述 Lifelong lear ...

[论文阅读] (ASONAM2019) Meta-GNN: 属性异构网络中用于半监督学习的元图神经网络

论文标题：Meta-GNN：Metagraph Neural Network for Semi-supervised learning in Attributed Heterogeneous Information Networks

概述

难点

作用

论文贡献

定义

meta-GNN网络

卷积层

[论文阅读] (ASONAM2019) Meta-GNN: 属性异构网络中用于半监督学习的元图神经网络相关推荐

最新文章

热门文章