论文浅尝 | Rot-Pro：通过知识图谱嵌入中的投影建模关系的传递性

笔记整理：陈湘楠，浙江大学硕士在读。

研究背景

知识图嵌入模型学习知识图谱中实体和关系的表示，以预测实体之间的缺失链接（关系）。它们的有效性深受建模和推断不同关系模式（如对称、不对称、逆向、组合和传递性）的能力的影响。已经有许多工作尝试找到一种方法来统一建模这些不同的关系模式。如：TransE可以建模逆向和组成的关系模式；DistMult可以处理对称关系；以及最近提出的模型RotatE通过将关系看作在复数空间中的旋转因子，可以同时处理对称、非对称、逆向、组合这四种关系模式。

研究动机

尽管已有很多工作可以对不同的关系模式进行建模，但是针对传递性这一关系模式，目前还没有模型可以处理。由此，这篇论文首先通过理论证明关系的传递性可以利用投影变换来建模，并且提出了一种将投影和关系旋转相结合的模型Rot-Pro,在多个数据集上验证了其有效性。

研究方法

假设关系r是一种转换方式Tr，那么对于任何一个三元组(h, r, t)。都需满足等式

那么对于一个传递链(e1, r, e2), …, (em-1, r, em)。都须满足

这表示一个实体表示经过多次的转换等价于对其进行一次转换。由此作者试图用投影的方式建模关系的传递模式。并定义第k维的投影矩阵 .

其中

于是第k维分量在旋转后的新坐标下的投影为

这表示在传递链上的实体e1, …, em。模型只要求它们的表示在投影矩阵下相同，原来的表示可以不同。Rot-Pro的打分函数为：

并使用联合损失L进行训练，其中Lw为自对抗的负采样损失，Lp为对投影矩阵的正则化项。

理论证明

对于每个三元组（h, r, t），Rot-Pro模型要求

于是

上式要想成立当且仅当

此式表明对于在传递链路上的所有实体，都会在复数空间中被投影到同一条直线上，即

其中是一个常数，形象化表达如下图。

实验结果

作者在4个数据集上进行了实验。表3表示Rot-Pro在大部分指标上要好于baseline，与RotatE模型效果差异不大的原因在于FB15K237和WN18RR两个数据集没有充足的传递性的关系。表4表示在YAGO3-10和Countries两个含有传递性关系的数据集上，模型相较RotatE有了更明显的提升。

总结

论文理论证明了传递性的关系可以使用投影变换来建模，并提出了模型Rot-Pro同时使用旋转和投影变换，从而可以有效推理对称，非对称，逆向，组成，以及传递这些关系模式。并且论文在4个数据集上进行了实验，以此证明该模型可以有效地建模具有传递模式的关系。

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。