基于历史对比学习的时序知识图谱推理

时序知识图谱

知识图谱（KGs）作为人类知识的集合，在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的KG通常是一个静态知识库，它使用图结构数据拓扑，并以三元组（s, p, o）的形式集成事实（也称为事件），其中s和o分别表示主语（头实体）和宾语（尾实体）实体，p作为关系类型表示谓词。在现实世界中，由于知识不断发展，时序知识图谱（TKG）的构建和应用成为领域热点，其中三元组（s, p, o）扩展为四元组，增加了时间戳t，即（s, p, o, t）。下图是由一系列国际政治事件组成的TKG。

时序知识图谱（子图）:

时序知识图谱推理

TKG为许多下游应用提供了新的视角和见解，例如决策、股票预测和对话系统，从而引发了人们对TKG推理的强烈兴趣。在这项工作中，我们专注于在TKG上预测未来的事件。

为了对TKG的结构和时间特征进行建模以用于未来事件预测，一些主流的模型例如RE-NET利用自回归方法，可以很容易地预测重复或周期性事件。然而，在TKG数据集ICEWS（综合危机预警系统）中，新事件约占40%。

预测这些新事件非常具有挑战性，因为它们在历史时间轴上具有较少的交互痕迹。例如，图2的右侧部分显示了查询（the United States, Negotiate, ?, t+1）及其相应的新事件（the United States, Negotiate, Russia, t+1），其中大多数现有方法由于过度关注频繁的重复事件，因此在此类查询中通常会获得错误的结果。

现有模型存在的问题:

另一方面，在推理过程中，现有方法在对整个图中所有候选实体的概率得分进行排名时，而没有任何的bias。我们认为，在处理不同事件的缺失实体时，这种bias是十分必要的，这在现实社会中也是如此，例如，对于重复或周期性事件，我们应该优先考虑一些频繁发生的实体，而对于新事件，则需更多地关注历史交互较少的实体。

基于历史对比学习的时序知识图谱推理

在这项工作中，我们将超越历史信息的限制，从整个知识中挖掘潜在的时序模式。为了更清晰地阐述我们的设计，我们将与当前查询中的实体相关联的过去事件称为该查询历史事件，其他事件称为非历史事件。我们直观地认为，TKG中的事件不仅与其历史事件相关，还与未观察到的潜在因素间接相关。我们所能看到的历史事件只是冰山一角（图2）。我们提出了一种新的TKG推理模型，称为CENET（Contrasive Event Network）。下图给出了模型的框架图。

CENET模型框架：左侧部分从历史和非历史依赖关系中学习实体的分布。右侧部分是历史对比学习的两个阶段，其目的是识别高度相关的实体，输出是布尔掩码向量。中间部分是基于掩码的推理过程，它将从历史和非历史依赖关系中学习到的分布与掩码向量相结合，以生成最终结果。

给定真实的尾实体为o的查询（s, p, ?, t），CNENT考虑其历史和非历史事件，并通过对比学习识别重要实体。具体而言，模型首先采用基于复制机制的评分策略来建模历史事件和非历史事件的相关性（公式1和2）。

此外，所有查询都可以根据其真实对象实体分为两类：尾实体是历史实体或非历史实体。因此，CENET自然采用监督对比学习损失来训练两类查询的表示（即公式3中的 v q v_q vq），进一步帮助训练输出为布尔值的分类器，以识别哪些实体应该受到更多关注。在推理过程中，CENET结合了历史和非历史依赖性的分布，并根据分类结果进一步采用基于掩码的策略来考虑高度相关的实体。

历史对比学习：CENET在第1阶段使用对比损失学习表示，在第2阶段使用交叉熵损失训练二元分类器。

实验

数据集

我们选择了五个基准数据集，包括三个基于事件的TKG和两个公共KG。这两种类型的数据集以不同的方式构建。前三个基于国际政治事件的TKG由ICEWS18、ICEWS14和GDELT组成，事件是离散的。后两个公共KG（WIKI和YAGO）中的事件可能会连续地存在很长时间。

对比实验

我们选取了15个业界最新的TKG推理模型作为基线，并采用Mean Reciprocal Ranks (MRR) 和 Hits@1/3/10 (the proportion of correct predictions ranked within top 1/3/10)作为评价指标。下表给出了结果。结果表明，CENET在大多数指标上明显优于所有现有方法，在基于事件的数据集上，与以前最先进的基线相比，Hits@1至少获得了8.3%的相对提升。

基于事件的TKG对比实验结果:

公共KG对比实验结果：

消融实验

我们分析了模型中每一个关键组成的性能，下表给出了消融实验的结果。可以看到，同时考虑历史和非历史依赖项比只单独考虑历史依赖能取得更好的效果，历史对比学习策略以及基于掩码的推断均能取得优越的性能。

案例分析

案例分析给出了模型在预测重复性事件与新事件上的案例。

结论

在本文中，我们提出了一种新的用于事件预测的时序知识图谱模型——对比事件网络（CENET）。CENET的关键思想是学习整个实体集的令人信服的分布，并在对比学习框架中从历史和非历史依赖性中识别重要实体。实验结果表明，CENET在大多数指标上都显著优于所有现有方法，尤其是在Hits@1的指标上。未来工作包括探索知识图中的对比学习能力，例如找到更合理的对比学习对（contrastive pairs）。

该工作目前已被AAAI 2023接收，论文和代码链接如下：

论文标题：

Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

论文链接：

https://arxiv.org/abs/2211.10904

代码链接：

https://github.com/xyjigsaw/CENET

基于历史对比学习的时序知识图谱推理相关推荐

AAAI 2023 | 基于历史对比学习的时序知识图谱推理
©PaperWeekly 原创 · 作者 | 徐奕单位 | 上海交通大学Acemap 研究方向 | 数据挖掘论文标题: Temporal Knowledge Graph Reasoning wit ...
【RE-GCN_2021.04】基于进化表示学习的时态知识图谱推理
提示: 文章目录摘要一.引言二.相关工作三.问题表述四.RE-GCN模型 4.1 进化单元 4.1.1 并发事实之间的结构依赖性 4.1.2 跨时间邻近事实的序列模式 4.1.3 静态特性 ...
时序知识图谱推理：Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
0摘要: 带有时间戳的大规模事件数据的可用性催生了边带有时间的动态知识图谱.在动态的知识图谱中,并没有被很好的理解.基于此,本文提出Know-Evolve,这是一种新颖的深度进化知识网络,可以学习时序 ...
论文浅尝 | 面向时序知识图谱推理的循环事件网络
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答. 来源:arXiv (short version accepted at ICLR 2019Workshop on Representati ...
时序知识图谱的增量构建
摘要带有时序特征的知识图谱(KG)称为时序知识图谱,用来描述知识库中增量式的概念及其相互关系.知识随着时间推移而变化,将新增知识实时.准确地添加到时序知识图谱中,可以实时反映知识的演化更新.对此,给 ...
知识图谱从入门到应用——知识图谱推理：基于表示学习的知识图谱推理-[嵌入学习]
分类目录:<知识图谱从入门到应用>总目录前面多次提到过,基于符号逻辑的演绎推理的主要缺点是对知识表示的逻辑结构要求比较高,不论是本体推理还是规则推理,都要求人工定义公理和规则才能完成推理 ...
论文浅尝 | 基于时序知识图谱的问答
笔记整理:姚云志,浙江大学在读博士,研究方向为自然语言处理. 链接:https://arxiv.org/pdf/2106.01515.pdf 时序知识图谱是一种多关系的知识图谱,相较于常规的知识图谱, ...
论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ...
【GNN报告】Mila实验室/蒙特利尔大学朱兆成：基于图神经网络的知识图谱推理
目录 1.简介 2.Human Memories as Repositories of Events: Event Graph Knowledge Acquisition 背景 2022 CVPR C ...

基于历史对比学习的时序知识图谱推理

时序知识图谱

时序知识图谱推理

基于历史对比学习的时序知识图谱推理

实验

数据集

对比实验

消融实验

案例分析

结论

基于历史对比学习的时序知识图谱推理相关推荐

最新文章

热门文章