【论文笔记】SimplE Embedding for Link Prediction in Knowledge Graphs
摘要
张量因子分解方法已被证明对此类链路预测问题很有前途。1927年提出的正则多元分解(CP)是最早的张量分解方法之一。CP通常在链路预测方面表现不佳,因为它为每个实体学习两个独立的嵌入向量,而它们实际上是并列的。我们提出了一个简单的CP增强(我们称之为SimplE),允许独立地学习每个实体的两个嵌入。
背景
一种张量因子分解方法是正则多变量(CP)分解。该方法为每个关系学习一个嵌入向量,为每个实体学习两个嵌入向量,当实体为头部时使用一个嵌入向量,当实体为尾部时使用另一个嵌入向量。实体的头部嵌入是独立于尾部嵌入学习的(与尾部嵌入无关)。这种独立性导致CP在KG完成方面表现不佳。
本文开发了一种基于CP的张量分解方法,该方法解决了实体的两个嵌入向量之间的独立性。
并且证明了SimplE
1-可以被认为是一个双线性模型
2-是完全表达的
3-能够通过参数共享(也称为权重绑定)将背景知识编码到其嵌入中
4-在经验上表现非常好。
我们证明了许多现有的翻译方法并不是完全表达的,并且我们确定了对它们所能表达的内容的严格限制。我们还表明,ComplEx中使用的函数,一种用于链路预测的最先进方法,涉及冗余计算。
背景和符号
嵌入是从一个实体或关系变到一个或多个向量或数字矩阵的函数。
张量因子分解模型定义了两件事:
1-实体和关系的嵌入函数
2-函数f将h、r和t的嵌入作为输入,并生成(h、r、t)是否在ζ中的预测。
嵌入的值是使用KG中的三元组学习的。张量因子分解模型是充分表达的,如果给定任何基本真值(将真值完全分配给所有三元组),则存在一个对实体和关系的嵌入赋值,该赋值可以准确区分正确的三元组和错误的三元组。
相关工作
本章对比了基于翻译的方法如TransE,基于乘法的方法,如DistMult,基于深度学习的方法如E-MLP。
基于翻译的方法的不同改进是通过改变关系矩阵Pr,Qr实现的。基于翻译的方法是一个加法的方程。
基于乘法的方法是一种基于product的方法,而不是embedding。各种不同的改进区别在于评分函数。
基于深度学习的方法用神经网络学习实体和关系的嵌入之间的相互关系。不同方法通过改变神经网络实现。
SimplE
CP中对头实体和尾实体分别学习来实现实体的向量的独立性:observing (e1 , r, e2 ) ∈ ζ only updates he1 and te2, not te1 and he2。而SimplE利用关系的逆来解决CP中每个实体的两个向量的独立性。
三元组定义为:
论文也定义了一个变体SimplE-ignr,忽略r-1,只计算<he1, vr, te2>
使用随机梯度下降,对数似然。与对数似然相比,基于边际的损失函数更容易过拟合。
理论证明
【这部分证明先不看】
完全表达
定理1: SimplE模型的对基本事实的完全表达的向量大小为:min(|E|*|R|,γ+1)
γ是R中真实事实的数量
然后还有其他几种方法不能完全表达的定理和证明
将背景知识融入嵌入
在SimplE中,实体的嵌入向量的每个元素都可以被视为实体的一个特征,关系的对应元素可以被视为该特征对关系的重要性的度量。这种可解释性允许通过SimplE学习到的嵌入可以潜在地将实体(或关系)转移到其他领域。它还允许通过固定观察值的嵌入向量的一个元素,将实体的观察特征合并到嵌入中。Nickel等人表明,合并这些特征有助于减小嵌入的尺寸。
许多现有方法依赖于后处理步骤或在损失函数中添加额外的项来惩罚违反背景知识的预测。
这一节的定理就是说SimplE把对称性、反对称性和反转的背景知识融入到嵌入中。通过改变参数就可以学习到这三种关系的背景知识。
时间复杂性和参数增长
SimplE-ignr和SimplE的时间复杂度都是O(d),即向量嵌入的大小是线性的。
双线性模型族
CP和SimplE都是双线性模型
实验
实体预测结果
我们相信嵌入和评分函数的简单性是SimplE成功的关键属性。
结合背景知识
有些三元组可以从另一个三元组推导出来,所以随机去除其中一个三元组,得到新的数据集,使用上一个实验得到的超参数,并在这个新得到数据集训练,并添加元组推导关系规则的绑定参数,发现结果更高。
背景知识可以有效地融入到SimplE的嵌入中以提高其性能。
【论文笔记】SimplE Embedding for Link Prediction in Knowledge Graphs相关推荐
- (2018 -NIPS)SimplE embedding for link prediction in knowledge
(2018 -NIPS)SimplE embedding for link prediction in knowledge 本文为阅读论文过程中的个人总结加上翻译内容构成. 摘要 介绍知识图谱,知识图 ...
- 论文解读:Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings
论文解读:Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings ...
- (2021-AAAI)Type-augmented Relation Prediction in Knowledge Graphs
(2021-AAAI)Type-augmented Relation Prediction in Knowledge Graphs Keywords: Representation Learning ...
- 论文笔记:Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing
前言 本文用GNN来学习适合于聚类任务的节点表示. 比较特别的是,本文同时考虑了K-Mean聚类和谱聚类来实现更好的聚类.提出了Embedding Graph Auto-Encoder with Jo ...
- 论文笔记:REV2: Fraudulent User Prediction in Rating Platforms
REV2: Fraudulent User Prediction in Rating Platforms 目录 REV2: Fraudulent User Prediction in Rating P ...
- 【论文笔记】EMBEDDING ENTITIES AND RELATIONS FOR LEARN-ING AND INFERENCE IN KNOWLEDGE BASES
摘要 提出了一个准确率更高的双线性公式,一个利用学习到的关系嵌入来挖掘逻辑规则的方法. 背景 在可扩展到大型知识库的关系学习方法上有张量因子分解和基于神经嵌入的模型两种流行的方法.它们学习使用实体与关 ...
- 论文笔记--Fine-Grained Service-Level Passenger Flow Prediction for Bus Transit Systems
Fine-Grained Service-Level Passenger Flow Prediction for Bus Transit Systems Based on Multitask Deep ...
- 论文笔记:Protein-protein interaction site prediction through combining local and global features
文章目录 一.论文基本情况 二.前言 三.数据 (一)训练集和测试集 (二)特征 四.方法 (一)局部特征 (二)全局特征 (三)文本卷积神经网络(TextCNN) 五.模型的应用域(AD) (二). ...
- 论文笔记 EMNLP 2021|Lifelong Event Detection with Knowledge Transfer
文章目录 1 简介 1.1 创新 2 方法 2.1 baseline 2.2 新旧事件类型的知识迁移 3 实验 1 简介 论文题目:Lifelong Event Detection with Know ...
- 论文笔记:AAAI 2020 InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing
1. 前言 论文链接:https://arxiv.org/pdf/1911.00219.pdf github:https://github.com/malllabiisc/InteractE 现有的大 ...
最新文章
- IOS-开发中手势的处理
- 服务器,工作站和终端机
- bzoj 1004: [HNOI2008]Cards
- 新手入门深度学习 | 1-1:配置深度学习环境
- Ubuntu18.04提示wifi无法连接
- OpenCV中的Sobel算子
- angularjs项目的页面跳转如何实现
- java语言的运行平台,威力加强版
- listview中有checkbox 滑动后状态改变
- 使用re-sign.jar对apk进行重签名
- Python项目导出依赖包requirements.txt
- 问道linux一键端,问道手游源码打包一键端搭建_附教程
- 上海市第三届上海市青少年算法竞赛(小学组)线上同步赛 数洞洞
- SpringMVC 工作原理详解
- matlab双纵坐标的绘图命令_如何利用matlab的plotyy函数画双坐标图
- 张云雷的《探清水河》登上央视,为什么蔡国庆可以随心所欲地唱
- 浏览器中网址访问过程详解
- 调用聚合数据新闻头条API接口
- ctf show-web入门 php特性篇部分题解
- Comet OJ - 2019国庆欢乐赛(赛后整理)