A Re-evaluation of Temporal Knowledge Graph Completion Models under a Unified Framework
来源：EMNLP2021
原文：https://aclanthology.org/2021.emnlp-main.639/
摘要
TKG完成模型通常包括两部分，一是时间嵌入层，捕获TKG演化信息；二是由现在的静态KG建模方法派生出来的评分函数，检查给定的四元组的合理性。
本文研究了六种时间嵌入方法。
将时间嵌入分为两类：1.时间戳嵌入，2.依赖时间的实体嵌入。
本文提出具有完全可组合性的TKG完成模型，其中时间嵌入，评分函数，损失函数，正则化器和互惠关系的显示建模可以任意组合。
介绍
时间嵌入（PEs）一般分为三类：
1.时间戳嵌入（TEs）： 模型学习在同一向量空间中作为实体和关系的每个离散时间戳的嵌入；
2.时间相关的实体嵌入（TEEs）： 将实体嵌入定义为一个函数，该函数输入一个实体和时间戳，生成实体时间的相关表示。
3.深度表示学习（DTRs）： 这些模型将时间信息纳入先进的深度学习模型，如循环神经网络和图神经网络，以学习实体和关系的时间感知表示。
研究时间嵌入的意义，目标是研究在不同的评分函数和不同的数据集下，哪种时间嵌入方法通常优于其他时间嵌入方法。从双线性评分函数中选择一个代表SimplE，从基于翻译的评分函数中选择一个代表TransE。
实验发现TEs在ICEWS优于其他嵌入方法，在GDELT上取得了相同的结果，TEs模型只需要大约一半的模型参数。这与人们一致认为TEEs表现更好的印象不同。本文认为，TKG数据稀疏性可能导致TEEs的经验性能不理想，每个实体都有相同维度的时间依赖嵌入，但大多数实体只涉及少数四元组。因此，TEEs可能遭受了过拟合问题。为验证假设，学习所有实体的唯一时间嵌入函数，而不是学习实体特定的嵌入函数，称为UTEE，结果表明UTEE比TEEs取得了更好的结果，证明了过拟合问题。
微调基线的性能可能远远超过以往研究中观察到的性能。例如，T-TransE在本文的研究中取得了更好的性能指标，它与DE-SimplE和TComplEx等目前的SOTA模型具有竞争力，甚至优于后者。这表明，训练策略显著影响TKG模型的表现，并让近年来的研究取得进展。因此，为了公平地比较不同TKG模型的有效性，有必要在一个统一的框架上对它们进行评价。
本文实现了一个公平的基准测试。为了保证框架的可组合性，将时间嵌入层、评分函数和各种训练策略作为独立的子模块实现。通过本文的框架，人们可以很容易地评估一种新的时间嵌入方法的性能。此外，本文还开展了一项广泛的实验研究，通过流行的训练策略和广泛的超参数设置，对已知TKG模型进行了微调。报告的结果可以直接用于今后工作的比较。
相关工作
TKG Completion
TKG完成侧重于补全四元组的头实体或者尾实体。本文只研究TKG的补全（completion）嵌入模型，没有针对预测(forecasting)的模型。
TKG Embedding Models
TKGE将每个实体e和关系r嵌入到向量空间。为了捕获时间方面，每个模型要么将离散时间戳嵌入到向量空间中，要么学习每个实体的时间相关表示。会有得分函数计算每个四元组的得分，分越高，模型越可信。
TEEs的评分函数：
TEs的评分函数：
Temporal Embeddings
TEs方法
普通TE： 每个时间戳都被映射到相同的向量空间中作为实体和关系；
改进TE： 引入了一种新的正则化方案来平滑相邻时间戳的表示；
HyTE： 将每个时间戳与相应的超平面相关联，并将实体和关系嵌入到特定于时间戳的超平面上，以在实体嵌入中包含时间信息，ei表示实体ei的全局嵌入，⊥表示投影算子，ωt表示时间戳t相关的超平面的法向量：
TEEs方法
DE:历时性实体嵌入，将实体ei在t时的时间嵌入定义为：
eDEi (t)[n]表示实体ei在t时刻嵌入的第n个元素。aei、ωei、bei是参数可学的实体特定向量。方程中向量的第一个γd元素捕捉静态特征，而另一个(1−γ)d元素捕捉时间特征。
ATiSE:通过使用可加性时间序列分解将时间信息添加到实体/关系表示中，其中实体表示定义为
ei+αeiωeit是趋势分量，其中系数表示进化速率，向量ωei表示相应的进化方向。βei sin(2πωeit)是seasonal component。高斯噪声项N (0， Σei)为随机分量。关系表示定义与实体表示类似。
DTRs方法
TA-approach：利用循环神经网络学习关系的时间感知表征。具体来说，关系表示由
获得，其中时间戳(日期)t被标记为数字(年、月和日)。时序标记序列和关系r被用作LSTM的输入。
本文提出一个新的TEE，学习了一个针对所有实体的独特的时间嵌入函数来研究DE的过拟合问题，称为UTEE，其定义如下:
其中a，w，b对所有实体相同。
评分函数
与TransE变化相对应的基于翻译的方法，将关系建模为主体对对象嵌入的翻译，即
另一种双线性评分函数
SimplE是一个简单但完全表达的模型，它用两个向量eis和eio表示每个实体ei∈E。根据ei是否作为主体或客体实体参与三元组，可以使用eis或eio。为了解决两个向量对于每个实体的独立性，SimplE利用互反关系，使用
作为(ei, r, ej)的得分，其中r−1是r的互反关系。
Reciprocal Relations
对于数据集中的每一个四元组(es, r, eo, t)，我们添加(eo, r−1,es, t)，其中r−1表示r的倒数关系。倒数关系的思想是对头实体预测和尾实体预测使用单独的评分函数。Reciprocal Relations可以帮助基于翻译的方法模拟对称模式，帮助双线性方法模拟反对称和反模式。
相关工作
本文提供了一个统一的框架，涵盖了相关的TKGE，并研究了时间嵌入对模型性能和其他组件的影响。
实验研究
本节分为两个部分，第一部分中，使用先进的训练策略和通过统一框架的广泛超参数设置进行广泛的实验，研究六种结合两个评分函数的时间嵌入方法。第二部分，重新评估以往研究中各种著名的TKG模型，证明了仔细配置后旧的SKG模型可以获得与SOTA竞争甚至更好的结果。
可组合的统一框架
TKGE模型由六个模块组成，时间嵌入层、静态嵌入层、评分函数、损失函数、正则化方法和互惠关系的使用。框架支持六种时间嵌入方法，七个评分函数（TransE，SimplE，DistMult），三个损失函数(MR、CE和BCE)、四种正则化方法(L1/L2/L3-norm和dropout)、两种初始化方法(Xavier uniform和Xavier normal)。
实验装置
数据集：ICEWS14，ICEWS11-14，GDELT-m10
超参数：考虑了七个嵌入维度{64、100、128、256、512、1024、2048}。学习速率可以从(0,0.1)中随机选取。使用单独的权重来正则化实体、关系和时间戳的嵌入。
12个交互模型的公式：
检查时间嵌入
之前的研究 vs 本文研究
TE vs TEE
表中可以看出具有时间戳嵌入（T）的交互模型比具有时间依赖的实体嵌入（DE, ATiSE）的模型参数要少，可能导致DE, ATiSE过拟合。提出了唯一依赖时间的实体嵌入（UTEE），所有实体都有相同的时间嵌入部分。
其他评分函数的发现
HyTE对评分函数敏感，因此新的嵌入模型要在两个评分函数评估。TA能力有限，ATiSE的表现明显恶化，在研究中没有覆盖高斯噪声分量。这一结果表明，考虑时间不确定性将显著改善TKG模型。因此，将其他确定性KG模型扩展到概率方法是值得的。
基准测试tKGE模型
本文的研究中发现的模型（先前最佳性能）
结论
通过一项广泛的实验研究来评估常用TKGE模型的时间嵌入。当训练适当时，时间戳嵌入（TEs）方法的表现与时间依赖实体嵌入(TEEs)方法相似，甚至优于后者，这与之前的研究结果相反。本文两种贡献:i)提供了一个统一的框架，以实现对新颖的时间嵌入方法的深度评估;ii)揭示TEEs方法的不足。
A Re-evaluation of Temporal Knowledge Graph Completion Models under a Unified Framework相关推荐
- 论文阅读《Do Pre-trained Models Benefit Knowledge Graph Completion?A Reliable Evaluation and a Reasonab》
Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable App ...
- [事件知识图谱] EventKG: A Multilingual Event-Centric Temporal Knowledge Graph
ESWC 2018 EventKG: A Multilingual Event-Centric Temporal Knowledge Graph Author Gottschalk, Simon,De ...
- Learning Entity and Relation Embeddings for Knowledge Graph Completion (TransR)论文翻译
整理转自:fffnull 的 CSDN 博客,感谢他的翻译分享 论文原文地址:Learning Entity and Relation Embeddings for Knowledge Graph C ...
- uncertain temporal knowledge graph论文解读
不确定时间知识图谱–uncertain temporal knowledge graph 摘要 时间数据随处可见,例如医疗历史,购物史,雇佣史和网页日志.开源的信息抽取工具证实了从这些数据源自动构建知 ...
- 【论文阅读笔记 KDD2021】《Relational Message Passing for Knowledge Graph Completion》
论文链接:https://arxiv.org/pdf/2002.06757.pdf 代码和数据集:https://github.com/hwwang55/PathCon 文章目录 ABSTRACT 1 ...
- LASS: Joint Language Semantic and Structure Embedding for Knowledge Graph Completion 论文解读
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion 代码:pkusjh/LASS: Code ...
- 论文笔记：Sequence-to-Sequence Knowledge Graph Completion and QuestionAnswering
Sequence-to-Sequence Knowledge Graph Completion and Question 备注:ACL 2022 Main Conference 链接:https:// ...
- A comprehensive overview of knowledge graph completion
摘要 知识图(KG)以其代表和管理海量知识的独特优势,为各种下游知识感知任务(如推荐和智能问答)提供了高质量的结构化知识.KGs的质量和完整性在很大程度上决定了下游任务的有效性.但由于知识产权制度的不 ...
- 2019_NAACL_A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Persona
代码地址:https://github.com/daiquocnguyen/CapsE 摘要 本文提出一种嵌入模型,名为CapsE,用胶囊网络建模三元组关系. 用一个三列的矩阵表示每个三元组,每列表示 ...
- 论文浅尝 | Open world Knowledge Graph Completion
来源:AAAI2018 论文链接:https://arxiv.org/pdf/1711.03438.pdf 代码链接:https://github.com/bxshi/ConMask 本文解决知识库补 ...
最新文章
- vmware虚拟机ubuntu开机黑屏问题解决
- WPF中的动画——（二）From/To/By 动画
- 小程序 获取用户信息
- 《敏捷软件开发》学习笔记 第20章
- python中对象的概念是什么_简述Python中的面向对象编程的概念
- 图论 —— 最短路 —— Dijkstra 算法
- Ext.example.msg()应用
- Scikit-learn：模型选择Model selection之pipline和交叉验证
- Redis开发与运维之第五章持久化
- PHP的常用框架有哪些？
- java wgs84 百度坐标_javascript 实现wgs84 坐标转百度坐标
- 备战2018｜春招or跳槽？大学生和职场新人最后的机会！
- matlab棋盘格标定角点,相机标定(Camera calibration)Matlab——棋盘格标定原理，流程...
- 四旋翼无人机——导航、制导与控制的概念
- 软件质量之道：PCLint之一
- 计算机系统基础期末复习--袁春风详细版
- 决策理论与方法——效用函数
- Spring Security之过滤器链【探案】+源码剖析
- mount命令使用详解
- 时代亿信文档权限管理概述