【图结构】Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs（TACT）

0 总结

名称	项目
题目	Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs
中文	知识图中归纳链接预测关系的拓扑感知关联
来源	AAAI（2021）
作者	Jiajun Chen, Huarui He, Feng Wu, Jie Wang
代码	https://github.com/MIRALab-USTC/KG-TACT
摘要	Inductive link prediction—where entities during training and inference stages can be different—has been shown to be promising for completing continuously evolvingknowledge graphs. Existing models of inductive reasoning mainly focus on predicting missing links by learning logical rules. However, many existing approaches do not take into account semantic correlations between relations, which are commonly seen in real-world knowledge graphs. To address this challenge, we propose a novel inductive reasoning approach, namely TACT, which can effectively exploit Topology-Aware CorrelaTions between relations in an entity-independent manner. TACT is inspired by the observation that the semantic correlation between two relations is highly correlated to their topological structure in knowledge graphs. Specifically, we categorize all relation pairs into several topological patterns, and then propose a Relational Correlation Network (RCN) to learn the importance of the different patterns for inductive link prediction.Experiments demonstrate that TACT can effectively model semantic correlations between relations, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the inductive link prediction task.
解决问题	归纳链接预测（在训练和推理阶段的实体可以不同），已被证明是有希望完备不断发展的知识图。现有的归纳推理模型主要是通过学习逻辑规则来预测缺失的关系链接。然而，许多现有的方法没有考虑到关系之间的语义关联，这在现实世界的知识图中很常见。为了应对这一挑战，我们提出了一种新的归纳推理方法，即TACT，它可以用一种独立实体的方式有效地利用关系之间的拓扑感知关联。TACT的灵感来自于两种关系之间的语义关联与它们在知识图中的拓扑结构高度相关的观察。具体来说，我们将所有的关系对分类为若干拓扑模式，然后提出一个关系相关网络（RCN）来学习不同模式对归纳链接预测的重要性。实验表明，TACT可以有效地建模关系之间的语义关联，并且在归纳链路预测任务的基准数据集上显著优于现有的最新方法。

1 背景

~~~~~~~       知识图以事实三元组的形式存储大量结构化的人类知识，在自然语言处理、推荐系统和问答等许多领域得到了广泛应用。
~~~~~~~       对于现实世界的知识图，新的实体不断涌现，如电子商务知识图中的新用户、新产品和生物医学知识图中的新分子。此外，他们通常面临着不完全性问题，如一些环节缺失。为了应对这一挑战，研究者越来越重视归纳链接预测任务。归纳链路预测的目的是预测链路知识图中的实体之间的丢失链路，其中训练和推理阶段的实体可以不同。尽管归纳链路预测在实际应用中具有重要意义，但现有的许多工作主要集中在演绎链路预测上，无法对以前未见过的实体进行处理。
~~~~~~~       现有的归纳推理模型主要是通过学习知识图谱中的逻辑规则来预测缺失链接。基于规则学习的方法（Yang、Yang和Cohen，2017；Sadeghian et al.2019）根据观察到的关系共现模式，显式挖掘逻辑规则，这些规则本质上是归纳的，因为学习的规则是实体独立的，可以自然地推广到新的实体。最近，GraIL（Teru、Denis和Hamilton2020）以与实体独立的方式通过对子图结构的推理隐式地学习逻辑规则。然而，许多现有的归纳推理方法在链接预测时没有考虑相邻的关系三元组。
~~~~~~~       为了利用相邻的关系式三元组，我们利用了知识图中常见的关系之间的语义关联。

【例如】对于Freebase中的关系:
“/people/person/nationality”和“/people/ethnicity/languages_spoken”具有很强的相关性 (因为一个人的母语与一个人的国籍相关)
而“/people/person/nationality”和“/film/film/country”的相关性较弱。

此外，知识图中任意两个关系之间的拓扑模式(它们之间的连接方式)可能不同，从而影响相关模式。

对于图1中的关系对“fatherof”和“hasgender”:
它们以尾对尾的方式由e1连接，以头对尾的方式由e2连接，这是不同的拓扑模式。

~~~~~~~ 本文提出了一种新的归纳推理方法，即TACT，它能有效地利用已知知识图谱中关系之间的拓扑关系。具体而言，TACT从两个方面对语义相关关系进行建模：相关模式（correlation patterns）和 相关系数（correlation coefficients）。

我们根据它们的拓扑结构不同把所有的关系对分成几个类别相关模式。
然后，我们将原始知识图转换为关系相关图（Relational Correlation Graph,RCG），其中节点表示关系，边表示原始知识图中任意两个关系之间的相关模式。
在RCG的基础上，我们提出了一种关系相关网络（RCN）来学习不同模式的相关系数，用于归纳链路预测。

~~~~~~~ 在归纳环境下，TACT能有效地融合相邻关系的信息，从而提高链路预测的性能。实验表明，TACT能够有效地建模关系之间的语义相关性，并且在基准数据集上显著优于现有的归纳链接预测方法。

【符号】

符号	含义
E\mathcal{E}E	实体集
R\mathcal{R}R	关系集
u∈E\mathcal{u}\in \mathcal{E}u∈E	头实体
v∈E\mathcal{v}\in \mathcal{E}v∈E	尾实体
r∈R\mathcal{r}\in \mathcal{R}r∈R	关系
G={(u,r,v)∣u,v∈E,r∈R}\mathcal{G} = \{ ( \mathcal{u} , \mathcal{r},\mathcal{v})\mid\mathcal{u},\mathcal{v} \in \mathcal{E}, \mathcal{r} \in \mathcal{R} \}G={(u,r,v)∣u,v∈E,r∈R}	知识图
eu\pmb{\mathcal{e}}_\mathcal{u}eeeu	头实体嵌入
r\pmb{\mathcal{r}}rrr	关系嵌入
ev\pmb{\mathcal{e}}_\mathcal{v}eeev	尾实体嵌入
d\mathcal{d}d	嵌入的维数
[e]i[\pmb{e}]_i[eee]i	向量e第i个输入
[a∘b]i=[a]i⋅[b]i[\pmb{a \circ b}]_i=[\pmb{a}]_i \cdot [\pmb{b}]_i[a∘ba∘ba∘b]i=[aaa]i⋅[bbb]i	哈达玛积
⊕\oplus⊕	向量的串联

2 相关工作

【基于规则学习的方法】
~~~~~~~ 基于规则学习的方法基于观察到的关系共现模式学习逻辑规则，由于学习的规则独立于实体，因此具有内在的归纳性。从数据中挖掘规则是归纳逻辑编程的中心任务（Muggleton 1992）。传统方法面临着扩展到大型数据集或优化的挑战。最近，Neural LP（Yang，Yang，and Co hen 2017）提出了一种端到端可微框架来学习逻辑规则的结构和参数。DRUM（Sadeghian等人，2019年）通过挖掘更正确的逻辑规则，进一步改进了神经网络。然而，基于规则学习的方法主要集中在horn规则的挖掘上，这限制了它们对知识图中更复杂的语义关系建模的能力。

【基于嵌入的方法】
~~~~~~~ 知识图嵌入已被证明是知识图推理的一个有前途的方向（Sun et al.2019；张等，2020a；张、蔡和王 2020年）。一些基于嵌入的方法可以为没见过的实体生成嵌入。Hamaguchi et al.（2017）和Wang et al.（2019）学习通过用图神经网络聚合邻域嵌入来生成未见过实体的实体嵌入层。然而，他们需要新的实体被已知的实体包围（用已知的实体来推未知实体），所以不能完全应用到新的图中。 GraIL（Teru，Denis，andHamilton，2020）开发了一个基于图神经网络的链接预测框架，该框架可以对局部子图结构进行推理，从而以独立于实体的方式进行归纳链接预测。然而，GraIL无法对知识图中常见的关系之间的语义关联进行建模。

【基于GNNs的链路预测】
~~~~~~~ 近年来，图神经网络（Kipf和Welling，2017年；Velickovic et al.2018）在链接预测方面显示出巨大的潜力，因为知识图自然具有图结构。Schlichtkrull等人（2018）提出了一种关系图神经网络，用于在实体上应用聚合时考虑连接关系。最近，Zhang等人（2020b）提出了一种具有层次注意的关系图神经网络，以有效地利用知识图中实体的邻域信息。然而，这些方法很难预测不可见实体之间的缺失链接，因为它们依赖于训练过程中学习的实体嵌入来进行链接预测。

【关系之间的相关性建模】
~~~~~~~ 现有的几种知识图嵌入方法都考虑了关系之间相关性的建模问题。Do、Tran和Venkatesh（2018）将特定于关系的投影空间分解为少量的跨越基，这些跨越基由所有关系共享。Zhu et al.（2018）提出通过将嵌入关系矩阵分解为两个低维矩阵的乘积来学习嵌入关系矩阵。与上述工作不同，我们的工作：

创新性地将所有关系对分类为七种拓扑模式，并提出一种新的关系网络来建模拓扑关系。
考虑了归纳链接预测任务，而上述知识图嵌入方法处理起来比较困难。
在基准数据集上优于现有的最先进的归纳推理方法。

3 具体方法模型介绍

~~~~~~~ TACT的目标是以独立实体的方式对给定的三元组(u,rt,v)(u,r_t,v)(u,rt,v)，其中rtr_trt是uuu和vvv之间的目标关系。
~~~~~~~ 具体来说，TACT包括两个模块：关系相关模块和图形结构模块。

~~~~~~~ 1. 关系关联模块，基于知识图中任意两个关系之间的语义关联与其拓扑结构高度相关的观察。
~~~~~~~ 2. 此外，基于GraIL的思想设计了一个图形结构模块来利用图形结构信息。

~~~~~~~ TACT将两个模块组织在一个统一的框架中进行归纳链路预测。图2给出了TACT的概述。

【关系之间的相关性建模】
~~~~~~~ 为了建立关系之间的语义关联模型，我们从两个方面来考虑关联：

关联模式：在知识图中，任何两个关系之间的关联都与其拓扑结构高度相关。
相关系数：我们用相关系数来表示两种关系之间的语义关联程度

关系相关图(Relational Correlation Graph,RCG)
~~~~~~~       为了对任意两个关系之间的相关模式进行建模，我们将所有关系对分类为七种拓扑模式。如图3所示，拓扑模式为“头到尾”、“尾到尾”、“头到头”、“尾到头”、“平行”、“循环”和“未连接”（“head-to-tail”, “tail-to-tail”, “head-to-head”, “tail-to-head”, “parallel”, “loop”and “not connected"）。

~~~~~~~        我们将对应的相关模式分别定义为“H-T”、“T-T”、“H-H”、“T-H”、“PARA”、“LOOP”和“NC”

(r1,H−T,r2)(r_1,H-T,r_2)(r1,H−T,r2) 表示r1和r2之间的相关性是r2的“H-T”模式，这表明r1和r2是head-to-tail方式相连的；
(r1,PARA,r2)(r1,PARA,r2)(r1,PARA,r2)表示这两个关系是由相同的头实体和尾实体连接的;
(r1,LOOP,r2)(r1,LOOP,r2)(r1,LOOP,r2)表示两个关系在局部图中形成一个循环。

~~~~~~~       证明了在补充关系中，任意两个关系之间的拓扑模式数最多为7个。
~~~~~~~       根据不同关联模式的定义，将原始知识图转化为关系关联图（RCG），其中节点表示关系，边表示原始知识图中任意两个关系之间的关联模式（7种之一）。图3显示了任意两个关系和相应RCG之间的拓扑模式。注意对于两个关系不连通的拓扑模式，其对应的RCG由两个孤立的节点组成。

关系相关网络(Relational Correlation Network,RCN)
~~~~~~~       基于RCG，我们提出了一种关系相关网络（RCN）来模拟不同相关模式在感应链接预测中的重要性。RCN由两部分组成：相关模式部分和相关系数部分。
~~~~~~~        - 相关模式部分：考虑了任意两种关系之间不同拓扑结构的影响。
~~~~~~~        - 相关系数部分：旨在学习不同相关性的程度。

~~~~~~~ 对于一条有关系的边rtr_trt，我们可以用拓扑模式“H-T”、“T-T”、“H-H”、“T-H”、“PARA”和“LOOP”将它在RCG中的所有邻接边分成六组。注意，不考虑拓扑模式“NC”，因为它意味着边（关系）在知识图中没有连接。对于这六个组，我们使用六种线性变换来学习对应于拓扑模式的不同语义关联。为了区分关系rtr_trt的不同关联度，我们进一步使用注意力网络来学习所有关联的相关系数。
~~~~~~~ 具体地说，我们将关系rtr_trt的所有相关集合起来，得到嵌入在局部图中的邻域，用rtN\pmb{r}_t^NrrrtN表示。
rtN=16∑p=16(Ntp∘Λtp)RWp\pmb{r}_t^N = \frac{1}{6} \sum_{p=1}^{6}(\pmb{N}_t^p \circ \pmb{\Lambda}_t^p )\pmb{R}\pmb{W}^p rrrtN=61p=1∑6(NNNtp∘ΛΛΛtp)RRRWWWp

符号	含义
Wp∈Rd×d\pmb{W}^p \in \mathbb{R}^{d \times d}WWWp∈Rd×d	权重参数
R∈R∣R∣×d\pmb{R} \in \mathbb{R}^{\mid \mathcal{R} \mid \times d}RRR∈R∣R∣×d	所有关系的嵌入
R[i,:]\pmb{R}_{[i,:]}RRR[i,:]	沿第一维度的第i个切片：假设rir_iri的嵌入是ri∈R1×d\pmb{r}_i\in \mathbb{R}^{1 \times d}rrri∈R1×d,那么R[i,:]=ri\pmb{R}_{[i,:]} = \pmb{r}_iRRR[i,:]=rrri
Ntp∈R1×∣R∣\pmb{N}_t^p \in \mathbb{R}^{1 \times \mid \mathcal{R} \mid}NNNtp∈R1×∣R∣	指示向量：如果rir_iri和rtr_trt是以第p(1-6)种拓扑模式连接的,[Ntp]i=1[\pmb{N}_t^p]_i=1[NNNtp]i=1，否则为0
Λtp∈R1×∣R∣\pmb{\Lambda}_t^p \in \mathbb{R}^{1 \times \mid \mathcal{R} \mid}ΛΛΛtp∈R1×∣R∣	权重参数：p-th相关模式中关系rtr_trt的不同相关度 ;[Λtp]i≥0[\pmb{\Lambda}_t^p]_i\ge0[ΛΛΛtp]i≥0，并且 ∑[Λtp]i=1\sum[\pmb{\Lambda}_t^p]_i=1∑[ΛΛΛtp]i=1

~~~~~~~ 然后，连接rtr_trt和rtNr_t^NrtN得到最终的嵌入rtFr_t^FrtF
rtF=σ([rt⊕rtN]H)\pmb{r}_t^F = \sigma([r_t \oplus r_t^N]\pmb{H})rrrtF=σ([rt⊕rtN]HHH)

符号	含义
Hp∈R2d×d\pmb{H}^p \in \mathbb{R}^{2d \times d}HHHp∈R2d×d	权重参数
σ\sigmaσ	激活函数
rtF\pmb{r}_t^FrrrtF	关系关联模块的最终输出

【图形结构建模】
~~~~~~~       对于三元组(u,rt,v)(u,r_t,v)(u,rt,v)，它周围的局部图包含了关于三元组如何与其邻域连接的信息。为了利用局部图结构信息，我们使用图结构网络将局部图嵌入到基于GraIL（Teru、Denis和Hamil-ton2020）的向量中。围绕三元组(u,rt,v)(u,r_t,v)(u,rt,v) ，我们执行以下步骤：
~~~~~~~        1. 子图扩展;
~~~~~~~        2. 节点标记;
~~~~~~~        3. 图形嵌入;
~~~~~~~       注意，节点表示知识图中的实体。

子图扩展
~~~~~~~ 对于三元组(u,rt,v)(u,r_t,v)(u,rt,v)，我们首先提取目标节点 uuu 和 vvv 周围的封闭子图（Teru、Denis和Hamilton 2020）。节点 uuu 和 vvv 之间的封闭子图由以下步骤得出：
1. 我们分别计算两个节点 uuu 和 vvv的邻居 Nk(u)\mathcal{N} _k(u)Nk(u) 和 Nk(v)\mathcal{N}_k(v)Nk(v) ，其中 kkk 表示邻居的最大距离。
2. 我们取 Nk(u)\mathcal{N}_k(u)Nk(u) 和 Nk(v)\mathcal{N}_k(v)Nk(v) 的交集得到 Nk(u)⋂Nk(v)\mathcal{N}_k(u) \bigcap \mathcal{N}_k(v)Nk(u)⋂Nk(v)。
3. 我们通过修剪Nk(u)⋂Nk(v)\mathcal{N}_k(u) \bigcap \mathcal{N}_k(v)Nk(u)⋂Nk(v)中独立的节点或距离节点uuu或vvv的距离大于kkk的节点，计算了封闭子图G(u,rt,v)\mathcal{G}(u,r_t,v)G(u,rt,v)。
节点标记
~~~~~~~ 之后，我们在提取的封闭子图中标记节点（Teru、Denis和hamilton 2020）。我们用元组(d(i,u),d(i,v))(d(i,u),d(i,v))(d(i,u),d(i,v))来标记 uuu 和 vvv 周围的节点 iii，式中d(i,u)d(i,u)d(i,u)表示不计算通过v的，节点i和u之间的最短距离(d(i,v)d(i,v)d(i,v)类似)。它捕获每个节点相对于目标节点的拓扑位置。两个目标节点 uuu 和 vvv 被唯一地标记为(0,1)和(1,0)。节点特征定义为[one−hot(d(i,u))⊕one−hot(d(i,v))][one-hot(d(i,u)) \oplus one-hot(d(i,v))][one−hot(d(i,u))⊕one−hot(d(i,v))],one−hot(p)∈R1×done-hot(p) \in \mathbb{R}^{1\times d}one−hot(p)∈R1×d表示one-hot向量，其中只有第p项是1，其中d表嵌入的维数。

图形嵌入
~~~~~~~ 对封闭子图进行节点标注后，子图中的节点具有初始嵌入。用R-GCN (Schlichtkrull et al. 2018) 来在抽取的封闭子图G(u,rt,v)\mathcal{G}(u,r_t,v)G(u,rt,v)上获得嵌入。
ei(k+1)=σ(∑r∈R∑j∈Nir1ci,rej(k)Wr(k)+ei(k)W0(k))\pmb{e}_i^{(k+1)}=\sigma(\sum_{r \in \mathcal{R}} \sum_{j \in \mathcal{N}_i^r}\frac{1}{c_{i,r}}\pmb{e}_j^{(k)}\pmb{W}_r^{(k)}+\pmb{e}_i^{(k)}\pmb{W}_0^{(k)} ) eeei(k+1)=σ(r∈R∑j∈Nir∑ci,r1eeej(k)WWWr(k)+eeei(k)WWW0(k))

符号	含义
ei(k)\pmb{e}_i^{(k)}eeei(k)	实体eie_iei在R-GCN第k层的嵌入
Nir\mathcal{N}_i^rNir	在关系r∈Rr \in \mathcal{R}r∈R中邻居节点i的索引集
ci,rc_{i,r}ci,r	ci,r=∣Nir∣c_{i,r}=\mid\mathcal{N}_i^r\midci,r=∣Nir∣,是一个常数
W0(k)∈Rd×d\pmb{W}_0^{(k)} \in \mathbb{R}^{d\times d}WWW0(k)∈Rd×d	权重参数
Wr(k)∈Rd×d\pmb{W}_r^{(k)} \in \mathbb{R}^{d\times d}WWWr(k)∈Rd×d	权重参数

~~~~~~~ 假设R-GCN的层数是L,计算子图G(u,rt,v)\mathcal{G}(u,r_t,v)G(u,rt,v)的嵌入为：
eG(u,rt,v)L=1∣VG(u,rt,v)∣∑i∈VG(u,rt,v)ei(L)\pmb{e}_{\mathcal{G}(u,r_t,v)}^{L}=\frac{1}{\mid \mathcal{V}_{\mathcal{G}(u,r_t,v)} \mid} \sum_{i \in \mathcal{V}_{\mathcal{G}(u,r_t,v)}}\pmb{e}_{i}{(L)}eeeG(u,rt,v)L=∣VG(u,rt,v)∣1i∈VG(u,rt,v)∑eeei(L)

符号	含义
VG(u,rt,v)\mathcal{V}_{\mathcal{G}(u,r_t,v)}VG(u,rt,v)	在图 G(u,rt,v)\mathcal{G}(u,r_t,v)G(u,rt,v)中，节点的集合

~~~~~~~ 结合目标节点和子图嵌入，用向量eS∈R1×3d\pmb{e}_S \in \mathbb{R}^{1 \times 3d}eeeS∈R1×3d表示结构信息,
eS=eG(u,rt,v)(L)⊕eu(L)⊕ev(L)\pmb{e}_S=\pmb{e}_{\mathcal{G}(u,r_t,v)}^{(L)} \oplus \pmb{e}_{u}^{(L)} \oplus \pmb{e}_{v}^{(L)}eeeS=eeeG(u,rt,v)(L)⊕eeeu(L)⊕eeev(L)

【TACT框架】
~~~~~~~ 关系关联模块和图结构模块分别输出嵌入向量rtF\pmb{r}_t^FrrrtF和eS\pmb{e}_SeeeS。为了将这两个模块组织在一个统一的框架中，我们设计了一个评分网络，将这两个模块的输出结合起来，得到给定三元组(u,rt,v)(u,r_t,v)(u,rt,v)的分数。

得分函数
~~~~~~~ 得分函数f(u,rt,v)f(u,r_t,v)f(u,rt,v) 定义为：
f(u,rt,v)=[rtF⊕eS]WSf(u,r_t,v)=[\pmb{r}_t^F\oplus\pmb{e}_S]\pmb{W}_Sf(u,rt,v)=[rrrtF⊕eeeS]WWWS

符号	含义
WS∈R4d×1\pmb{W}_S \in \mathbb{R}^{4d\times 1}WWWS∈R4d×1	权重参数

损失函数
~~~~~~~ 我们进行负采样，并使用噪声对比铰链损失对模型进行训练，使其得分正样本高于负样本（Bor des et al.2013）。损失函数L\mathcal{L}L 定义为：
L=∑i∈[n],(u,rt,v)∈Gmax(0,f(ui′,rt,i′,vi′)−f(u,rt,v)+γ)\mathcal{L}=\sum_{i \in [n],(u,r_t,v) \in \mathcal{G}} max(0,f(u_i^\prime,r_{t,i}^\prime,v_i^\prime)-f(u,r_t,v) + \gamma)L=i∈[n],(u,rt,v)∈G∑max(0,f(ui′,rt,i′,vi′)−f(u,rt,v)+γ)

符号	含义
γ\gammaγ	超参数
(ui′,rt,i′,vi′)(u_i^\prime,r_{t,i}^\prime,v_i^\prime)(ui′,rt,i′,vi′)	表示事实三元组(u,rt,v)(u,r_t,v)(u,rt,v)的第i个负样本
[n][n][n]	{1,2,...,n},n\{1,2,...,n\},n{1,2,...,n},n是负样本个数

4 实验数据集及结果

【实验配置】

数据集
~~~~~~~ 我们使用GraIL（Teru、Denis和Hamilton2020）中提出的归纳链接预测基准数据集，这些数据来自WN18RR（Toutanova和Chen 2015）、FB15k-237（Dettmers等人2018）和NELL-995（Xiong、Hoang和Wang 2017）。对于感应链路预测，训练组和测试组不应有重叠实体。WN18RR、FB15k-237和NELL-995的每一个知识图都归纳出了四种不同的归纳数据集，且其大小不断增加。
训练
~~~~~~~ 我们使用Adam优化器（Kingma andBa 2015），初始学习率为0.01，批量大小为16。在训练和测试时，我们随机抽取每个三元组的两跳封闭子图，并使用一个两层的GCN来计算子图的嵌入。对于WN18RR、FB15k-237、NELL-995，损失函数中的margins分别设置为8、16、10。最大训练时epochs设置为10。
基准模型
~~~~~~~ 为了评估我们提出的关系相关模块的有效性，我们提出了一个称为TACT-base的基线，该基线得分三元组(u,rt,v)(u,r_t,v)(u,rt,v) 仅依赖于关系相关模块的输出，因此，TACT-base的得分函数为：
fbase(u,rt,v)=rtFWbasef_{base}(u,r_t,v)=\pmb{r}_t^F\pmb{W}_{base}fbase(u,rt,v)=rrrtFWWWbase

符号	含义
Wbase∈Rd×1\pmb{W}_{base} \in \mathbb{R}^{d\times 1}WWWbase∈Rd×1	权重参数

【链接预测】
~~~~~~~ 我们从分类和分级两个方面对模型进行了评估。对于这两个指标，我们将我们的方法与七种最先进的方法进行比较，包括Neural LP（Yang、Yang和Cohen，2017年）、DRUM（Sadeghian等人，2019年）和Grail（Teru、Denis和Hamilton，2020年）、

Classification

~~~~~~~ 我们使用精确召回曲线下面积（AUC-PR）作为分类度量，与GraIL（Teru、Denis和Hamilton 2020）相同。用一个随机实体替换每个测试三元组的头部或尾部，以采样相应的负三元组。然后我们用相等数量的负三元组对正三元组进行评分，以计算AUC-PR，与GraIL（Teru、Denis和Hamilton2020）方法相同。

~~~~~~~ 我们的基线模型TACT base在所有数据集上都优于归纳基线。因为TACT base完全利用关系相关模块进行链路预测，结果证明了该模型对归纳链路预测的有效性。TACT进一步提高了TACT base的性能，在大多数数据集上比GraIL提高了4%左右。实验结果表明，在归纳链路预测任务中，用TACT方法建立拓扑感知关系模型是有效的。

Ranking

~~~~~~~ 我们进一步评估归纳关系预测模型，以验证TACT中关系相关性建模的有效性。归纳关系预测的目的是预测给定的头尾实体之间的目标关系。具体来说，对于给定在测试集中的关系预测(u,?,v)(u,?,v)(u,?,v) ，我们将基本事实关系rrr 与所有其他候选关系进行排序。按照之前工作中的标准程序（Bordes et al.2013），我们使用过滤设置，在排名时不考虑任何现有的有效三元组。我们选择平均倒数秩（MRR），点击率为N(H@N)作为评价指标。由于在头尾预测设置中评估基线，我们在排名设置下重新实现了Neural LP（Yang、Yang和Cohen 2017）、DRUM（Sadeghian et al.2019）和Grail（Teru、Denis和Hamilton 2020）。为了公平的比较，我们把超参数和他们原来的论文保持一致。. 与GraIL相同，我们用不同的随机种子运行每个实验五次，并报告平均结果。

~~~~~~~ FB15k-237和NELL-995的改进比WN18RR更为显著。FB15k-237和NELL-995中的关系比WN18RR中的关系要多，因此FB15k-237和NELL-995中关系之间的语义关联更为复杂。实验表明，GraIL在关系数较多的情况下很难对关系语义进行建模。相比之下，TACT可以通过利用已知边图中关系之间的相关性来建模复杂的关系模式。TACT-base也可以显著优于现有的最新方法。

5 主要贡献

本文提出了一种新的归纳推理方法TACT，该方法能有效地利用知识图中关系之间的拓扑感知关联进行归纳链接预测。TACT将所有的关系对分类为几个拓扑模式，然后利用提出的RCN学习不同模式对归纳链接预测的重要性。实验表明，我们提出的TACT方法在测试数据集上的性能明显优于现有的几种最新方法。

[论文翻译]Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs相关推荐

GNN in KG(七) Topology-Aware Correlations Between Relations for Inductive Link Prediction in KG
目录 Methods Modeling correlations between relations Modeling graph structures The framework of TACT E ...
论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
论文翻译解读：PARIS ：Probabilistic Alignment of Relations, Instances, and Schema
文章目录 PARIS:关系.实例和模式的概率对齐简要信息摘要 1 介绍 2 相关工作 3 预定义 4 概率模型 4.1 等价实例 4.2 子关系 4.3 子类 5 实现 5.1 迭代 5.2 优化 ...
2015-FCN论文翻译
文章原址文章目录 FCN论文翻译摘要 1. 介绍 2. 相关工作 3. 全卷积网络 3.1 适用分类器用于dense prediction 3.2 Shift-and stitch是滤波稀疏 3. ...
图像分类经典卷积神经网络—GoogLeNet论文翻译（中英文对照版）—Going Deeper with Convolutions（走向更深的卷积神经网络）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[GoogLeNet纯中文版] Going Deeper with Convolution ...
如何自动生成推荐歌单：ACM论文翻译与解读 | Translation and Interpretation of ACM Survey
如何自动生成推荐歌单:ACM论文翻译与解读 | How to Automatically Generate Music Playlists: Translation and Interpretatio ...
图像分类经典卷积神经网络—ZFNet论文翻译（中英文对照版）—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ZFNet纯中文版] Visualizing and Understanding Con ...
【论文翻译】GoogleNet网络论文中英对照翻译--（Going deeper with convolutions）
[开始时间]2018.09.25 [完成时间]2018.09.26 [论文翻译]GoogleNet网络论文中英对照翻译--(Going deeper with convolutions) [中文译名] ...
CLIP论文翻译、Learning Transferable Visual Models From Natural Language Supervision翻译
CLIP论文翻译.Learning Transferable Visual Models From Natural Language Supervision翻译文章目录 CLIP论文翻译.Learn ...

[论文翻译]Topology-Aware Correlations Between Relations for Inductive Link Predictionin Knowledge Graphs