【RE-GCN_2021.04】基于进化表示学习的时态知识图谱推理
提示：
文章目录
- 摘要
- 一、引言
- 二、相关工作
- 三、问题表述
- 四、RE-GCN模型
- 4.1 进化单元
- 4.1.1 并发事实之间的结构依赖性
- 4.1.2 跨时间邻近事实的序列模式
- 4.1.3 静态特性
- 4.2 针对不同任务的评分函数
- 4.3 参数学习
- 4.4 计算复杂度分析
- 五、实验
- 5.1 实验设置
- 5.1.1 数据集
- 5.1.2 评估指标
- 5.1.3 基线
- 5.1.4 实施细则
- 5.2 实验结果
- 5.2.1 实体预测的结果
- 5.2.2 关系预测的结果
- 5.3 预测时间的比较
- 5.4 消融研究
- 5.4.1 进化单元的影响
- 5.4.2 静态图形约束组件的影响
- 5.4.3 时间门递归分量的影响
- 5.5 案例研究
- 5.6 详细分析
- 六、结论
- 七、致谢
- 参考文献
摘要
Knowledge Graph (KG) reasoning that predicts missing facts for incomplete KGs has been widely explored. However, reasoning over Temporal KG (TKG) that predicts facts in the future is still far from resolved. The key to predict future facts is to thoroughly understand the historical facts. A TKG is actually a sequence of KGs corresponding to different timestamps, where all concurrent facts in each KG exhibit structural dependencies and temporally adjacent facts carry informative sequential patterns. To capture these properties effectively and efficiently, we propose a novel Recurrent Evolution network based on Graph Convolution Network (GCN), called RE-GCN, which learns the evolutional representations of entities and relations at each timestamp by modeling the KG sequence recurrently. Specifically, for the evolution unit, a relation-aware GCN is leveraged to capture the structural dependencies within the KG at each timestamp. In order to capture the sequential patterns of all facts in parallel, the historical KG sequence is modeled auto-regressively by the gate recurrent components. Moreover, the static properties of entities such as entity types, are also incorporated via a static graph constraint component to obtain better entity representations. Fact prediction at future timestamps can then be realized based on the evolutional entity and relation representations. Extensive experiments demonstrate that the RE-GCN model obtains substantial performance and efficiency improvement for the temporal reasoning tasks on six benchmark datasets. Especially, it achieves up to 11.46% improvement in MRR for entity prediction with up to 82 times speedup comparing to the state-of-the-artbaseline.
预测不完整 KG 缺失事实的知识图谱推理已得到广泛探索。然而，预测未来事实的 Temporal KG (TKG) 推理仍远未解决。预测未来事实的关键是要透彻了解历史事实。 TKG 实际上是对应于不同时间戳的一系列 KG，其中每个 KG 中的所有并发事实都表现出结构依赖性，并且时间上相邻的事实携带信息序列模式。为了有效且高效地捕获这些属性，我们提出了一种基于图形卷积网络 (GCN) 的新型循环进化网络，称为 RE-GCN，它通过对 KG 序列进行循环建模来学习每个时间戳的实体和关系的进化表示。具体来说，对于进化单元，利用关系感知 GCN 在每个时间戳捕获知识图谱内的结构依赖性。为了并行捕获所有事实的顺序模式，历史 KG 序列由门循环组件自动回归建模。此外，实体的静态属性（如实体类型）也通过静态图约束组件合并，以获得更好的实体表示。然后可以基于进化实体和关系表示来实现未来时间戳的事实预测。大量实验表明，RE-GCN 模型在六个基准数据集上的时间推理任务中获得了实质性的性能和效率提升。特别是，与最先进的基线相比，实体预测的 MRR 提高了 11.46%，加速高达 82 倍。
CCS CONCEPTS CCS概念
Computing methodologies Temporal reasoning. 计算方法 时序推理
关键词
时态知识图谱、演化表示学习、图卷积网络
ACM Reference Format:
Zixuan Li1,2, Xiaolong Jin1,2, Wei Li3, Saiping Guan1,2, Jiafeng Guo1,2, HuaweiShen1,2, Yuanzhuo Wang1,2and Xueqi Cheng1,2. 2018. Temporal Knowl-edge Graph Reasoning Based on Evolutional Representation Learning. InWoodstock ’18: ACM Symposium on Neural Gaze Detection, June 03–05, 2018,Woodstock, NY . ACM, New York, NY, USA, 10 pages. https://doi.org/10.1145/1122445.1122456
一、引言
知识图谱 (KGs) 促进了许多现实世界的应用 [44]。然而，它们通常是不完整的，这限制了基于 KG 的应用程序的性能和范围。为了缓解这个问题，对试图预测缺失事实的 KG [2, 35] 进行推理是自然语言处理中的一项关键任务。传统上，知识图谱被认为是静态的多关系数据。然而，最近大量基于事件的交互数据 [3] 表现出复杂的时间动态，这就产生了对可以在时间知识图 (TKG) [3、11、12] 上进行表征和推理的方法的需求。 TKG 中的事实可以用（主体实体、关系、客体实体、时间戳）的形式表示。实际上，一个 TKG 可以表示为带有时间戳的 KG 序列，每个 KG 都包含在同一时间戳同时出现的事实。图 1 的左侧部分说明了来自 ICEWS18 [16] 数据集的 TKG 示例。尽管 TKG 无处不在，但对此类数据进行推理的方法在有效性和效率方面都相对缺乏探索。
从时间戳 t0到tTt_0 到t_Tt0到tT主要对 TKG 的推理有两个设置，插值和外推 [16]。前者[4，9，21]试图推断从t0到tTt_0 到t_Tt0到tT[16]的缺失事实。后者[16，17，33，34]旨在预测时间t>tTt>t_Tt>tT的未来事实（事件），更具挑战性。对于TKG来说，根据观察到的历史KG预测未来时间戳的新事实有助于理解事件的隐藏因素和对新出现的事件做出反应[20，25，26]。因此，外推设置下的推理非常重要，并且对许多实际应用都有帮助，例如救灾[31]和财务分析[1]。在本文中，时间推理任务（即在 TKG 上的外推设置下的推理）包含两个子任务，如图 1 右侧所示：
图1：TKG上时间推理的示意图。我们给出了KGs在时间戳18 / 01 / 17和18 / 01 / 18处的两个子图。
- 实体预测： 预测哪个实体在未来的某个时间戳下将与给定实体一起具有给定的关系(e.g., Who will N.Naidu criticize at 18/01/19?);
- 关系预测： 预测两个给定实体在未来某个时间戳下将发生的关系（例如，在 18/01/19 时，政府（印度）和公民（印度）之间会发生什么？）
为了准确预测未来事实，它要求模型深入研究历史事实。在每个时间戳处，实体通过并发事实相互影响，这些事实形成KG并表现出复杂的结构依赖关系。如图1所示，18年1月18日的并发事实表明，政府（印度）受到许多人的压力，这可能会影响政府（印度）在19年1月18日的行为。此外，体现在时间相邻事实中的每个实体的行为可能带有信息性的顺序模式。如图1所示，奈杜的历史行为反映了他的偏好，并在一定程度上影响了他未来的行为。这两种历史信息的结合，驱动了实体和关系的行为趋势和偏好。
一些早期的尝试包括 Know-evolve [33] 及其扩展 Dy Rep [34]，通过将历史中所有事实的发生建模为时间点过程来学习进化实体表示。但是，它们无法在相同的时间戳中对并发事实进行建模。最近的一些尝试以启发式的方式为每个单独的查询提取一些相关的历史信息。具体来说，RE-NET [16, 17] 在实体预测的每个查询中提取给定实体的那些直接参与的历史事实，然后对其进行顺序编码。 Cy GNet [43] 对具有相同实体和与实体预测的每个查询的关系的历史事实进行建模，因此主要侧重于预测具有重复模式的事实。由于一个TKG实际上是一个KG序列，现有的方法主要存在三个限制：（1）主要关注给定查询的实体和关系，而忽略了每个时间戳的KG中所有事实之间的结构依赖性； (2) 对每个查询单独编码历史，效率低下； (3) 忽略实体类型等实体的一些静态属性的作用。此外，现有方法仅关注实体预测，而关系预测不能由同一模型同时解决。
在这项工作中，我们将 TKG 视为一个 KG 序列，并对整个 KG 序列统一建模，将所有历史事实编码为实体和关系表示，以促进实体和关系预测任务。因此，我们提出了一种新的基于 GCN 的循环进化网络，即 RE-GCN，它通过循环建模 KG 序列来学习每个时间戳的实体和关系的进化表示。具体来说，对于每个进化单元，利用关系感知的 GCN 在每个时间戳捕获 KG 内的结构依赖性。通过这种方式，可以有效地对 KG 中所有事实之间的交互进行建模。历史 KG 序列由门循环组件自动回归建模，以有效地捕获所有时间相邻事实的顺序模式。 TKG 中实体和关系的所有历史信息都是并行编码的。此外，实体的静态属性，如实体类型，也通过静态图约束组件被合并以获得更好的实体表示。然后，可以基于进化表示实现未来时间戳的实体预测和关系预测任务。
总的来说，本文做出了以下贡献：
- 我们提出了一种进化表示学习模型RE-GCN，用于TKGs的时间推理，该模型考虑了KG中并发事实之间的结构依赖性，跨时间相邻事实的顺序模式以及实体的静态属性。据我们所知，这是第一项将它们全部整合到时间推理的进化表征中的研究。
- 通过从KG序列的角度表征TKG，RE-GCN有效地将TKG中的所有历史信息建模为进化表示，这些表示同时适用于实体和关系预测。因此，与最先进的基线相比，它可以实现高达 82 倍的加速。
- 大量实验表明，通过更全面地对历史进行建模，RE-GCN在六个常用基准上实现了实体和关系预测任务的一致且显着更好的性能（MRR提高了11.46%）。
二、相关工作
静态知识图谱推理 现有的静态KG推理模型试图推断KG中缺失的事实。 最近，基于嵌入的模型[2，6，30，35，41]引起了很多关注。由于GCN [19]是将内容和结构特征组合在图中的代表性模型，一些研究将其推广到关系感知GCN以处理KG。其中，R-GCN [28] 使用特定于关系的过滤器扩展了 GCN，WGCN [30] 在聚合过程中利用了可学习的关系特定权重。VR-GCN [42] 和 CompGCN [36] 在 GCN 聚合期间将节点和关系联合嵌入到关系图中。以上模型都是在静态KG中设置的，无法预测未来的事实。
时序知识图谱推理 TKG的推理可分为插值和外推两种设置[16]。对于第一个设置，模型 [4， 8–10， 13， 21， 27， 37， 38， 40] 尝试推断历史时间戳处缺失的事实。TA-DistMult [9]、TA-Trans E [9] 和 TTrans E [21] 将事实发生的时间整合到关系的嵌入中。HyTE [4] 将每个时间戳与相应的超平面相关联。但是，它们无法预测未来时间戳的事实，并且不能直接与外推设置兼容。
图 2：用于时间戳 t + 1 的时间推理的拟议 RE-GCN 模型的说明性图。
表 1：重要符号及其说明。
| notations | Descriptions |
|---|---|
| G,GS,GtG,G^S,G_tG,GS,Gt | TKG,静态图，在TKG中在时间戳ttt的KG |
| V,R,EtV,R,E_tV,R,Et | TKG 中的实体集、关系集、事实集（在 t 处） |
| VS,RS,ESV^S,R^S,E^SVS,RS,ES | 静态图中的实体集、关系集、边缘集 |
| Ht,RtH_t,R_tHt,Rt | 嵌入实体矩阵，在 t 处的关系 |
| H,RH,RH,R | 实体和关系的随机初始化嵌入矩阵 |
| HSH^SHS | 静态图中实体的静态嵌入矩阵 |
本文重点关注的外推设置试图根据历史数据预测未来时间戳的新事实。与我们的工作正交，一些模型 [14、33、34] 通过时间点过程估计条件概率来进行未来事实预测。他们更有能力对具有连续时间的 TKG 进行建模，在这种情况下，同一时间戳可能不会出现任何事实。 Glean [5] 将事件摘要构建的词图纳入未来事实预测的建模中。然而，在实际应用中并不是所有的事件都有摘要文本。 CyGNet [43] 和 RE-NET [16] 是与我们最相关的作品。他们试图从每个给定查询的角度解决实体预测任务，该查询将与每个查询中的主题实体相关的历史事实编码。 CyGNet 使用生成复制网络来模拟具有相同主题实体的历史事实的频率以及与给定查询的关系（即重复模式）。 RE-NET 使用 GCN 和 GRU 对与给定主题实体相关的 1-hop 子图序列进行建模。他们都忽略了不同时间戳的知识图谱内部的结构依赖性和实体的静态属性。不同的是，RE-GCN 将 KG 序列建模为一个整体，它考虑了所有的结构依赖性，并且能够极大地提高效率。
三、问题表述
A TKG G 可以形式化为具有时间戳的 KG 序列，即 G={G1，G2，...，Gt，...}G = \{G1， G2， ...， Gt ， ...\}G={G1，G2，...，Gt，...}。每个KG，Gt=（V，R，Et），G_t = （V，R，E_t），Gt=（V，R，Et），时间戳ttt是一个有向多关系图，其中VVV是实体集，RRR是关系集，EtE_tEt是时间戳ttt处的事实集（ttt是离散整数）。EtE_tEt 中的任何事实都可以表示为四重 （s，r，o，t）（s， r， o， t）（s，r，o，t），其中 s，o∈Vs， o ∈ Vs，o∈V和 r∈Rr ∈ Rr∈R。它表示关系 rrr 的事实，该事实以 sss 作为其主主体，ooo 作为其对象实体，在时间戳 ttt 处发生。对于每个四元组（s，r，o，t）（s，r，o，t）（s，r，o，t），逆四元组（o，r−1，s，t）（o，r^{−1}，s，t）（o，r−1，s，t）也会附加到数据集中。静态图表示为 Gs=（Vs，Rs，Es）G^s = （V^s， R^s， E^s ）Gs=（Vs，Rs，Es），其中 Vs、Rs 和 E s 是静态图中的实体集、关系集和边集。重要的数学符号如表1所示。
实体预测任务旨在预测查询的缺失对象实体（s、r、？、t+1）（s、r、？、t + 1）（s、r、？、t+1）和查询的缺失主体实体（？、r、o、t+1）（？、r、o、t + 1）（？、r、o、t+1）。关系预测任务尝试预测查询的缺失关系（s，？，o，t+1）（s， ？， o， t + 1）（s，？，o，t+1）。假设未来时间戳t+1t + 1t+1 的事实预测取决于最近 mmm个时间戳（即{Gt−m+1，...Gt}）（即 \{Gt−m+1， ...Gt \}）（即{Gt−m+1，...Gt}），并在实体 Ht∈R∣V∣×dH_t ∈ \mathbb R^{|V|\times d}Ht∈R∣V∣×d和关系 Rt∈R∣R∣×dR_t ∈ \mathbb R^{|R |×d}Rt∈R∣R∣×d时间戳 ttt 处的进化嵌入矩阵中建模历史 KG 序列的信息（ddd 是嵌入的维度），两个时间推理任务的问题可以表述如下：
问题 1.实体预测。给定一个查询 （s，r，？，t+1）（s， r， ？， t + 1）（s，r，？，t+1），RE-GCN 用主体实体 s、关系 r 和给出的历史 KG 序列 Gt−m+1:tG_{t−m+1:t}Gt−m+1:t对所有对象实体的条件概率向量进行建模： ©PaperWeekly 原创 · 作者 | 徐奕 单位 | 上海交通大学Acemap 研究方向 | 数据挖掘 论文标题: Temporal Knowledge Graph Reasoning wit ... 时序知识图谱 知识图谱(KGs)作为人类知识的集合,在自然语言处理.推荐系统和信息检索等领域显示展现了很好的前景.传统的KG通常是一个静态知识库,它使用图结构数据拓扑,并以三元组(s, p, o)的形 ... 论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ... 分类目录:<知识图谱从入门到应用>总目录 前面多次提到过,基于符号逻辑的演绎推理的主要缺点是对知识表示的逻辑结构要求比较高,不论是本体推理还是规则推理,都要求人工定义公理和规则才能完成推理 ... https://blog.csdn.net/guleileo/article/details/81140179 干货 | 陪伴我学习NLP.知识图谱的那些资源(教程+书籍+网站+工具+论文...可以说 ... 笔记整理 | 朱珈徵,天津大学硕士 链接:https://arxiv.org/pdf/2012.08492.pdf 动机 大型知识图通常会增长以存储时态事实,这些时间事实对实体沿时间线的动态关系或交互 ... 论文笔记整理:叶橄强,浙江大学在读硕士,研究方向为知识图谱的表示学习和预训练. 来源:EMNLP 2020 现有的大多数基于行走的模型通过在提供可解释的决策的同时获得良好的性能,在知识图谱推理中显示出 ... 作者:张文,浙江大学在读博士,研究方向为知识图谱的表示学习,推理和可解释. 本文是我们与苏黎世大学以及阿里巴巴合作的工作,发表于WWW2019,这篇工作将知识图谱推理的两种典型方法,即表示学习和规则进 ... 目录 1.简介 2.Human Memories as Repositories of Events: Event Graph Knowledge Acquisition 背景 2022 CVPR C ...
【RE-GCN_2021.04】基于进化表示学习的时态知识图谱推理相关推荐
最新文章
热门文章