TransH:将知识嵌入到超平面(知识图谱嵌入)2014 AAAI
论文链接:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.486.2800&rep=rep1&type=pdf
论文来源:2014 AAAI
导读
表示学习是深度学习的基础,将数据用更有效的方式表达出来,才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐,允许计算机学习特征的同时,也学习如何提取特征。尽管举例基于翻译(translation)的知识图谱表示学习已经过去了五六年的时间,但是仍不可忽略其重要意义。本文聚焦于TransH模型。
1、引言
TransE模型简单有效的方法,在链接预测达到了state-of-the-art的效果。但在知识图谱中,关系的属性在嵌入时也应当被考虑,如一对多,多对一,和多对多的关系。本文注意到TransE不能很好地处理这些类型的关系。有些模型可以保留不同类别的关系,但是牺牲了处理的效率。为了达到一个效率和模型能力的权衡,本文提出了TransH。利用一对多,多对一的关系,本文提出了一个简单的技巧,可以帮助减少负采样过程中假负例的出现概率。
在TransH中,每一个关系使用两个向量来刻画,其中一个单位向量wrw_rwr 用来表示超平面的法向量,另外一个向量drd_rdr 表示超平面上的翻译向量。
2、相关工作
(1)TransE:详情请点击
(2)非结构化表示 Unstructured:将不同实体用嵌入方式表示,得分函数为∣∣h−t∣∣||h-t||∣∣h−t∣∣。显然这种方式不能区分不同的关系。
(3)距离模型 Distant Model:将头实体和尾实体用两个不同的矩阵WrhW_{rh}Wrh和WrtW_{rt}Wrt投影,相似程度用WrhhW_{rh}hWrhh和WrttW_{rt}tWrtt的L1L_1L1距离来度量。此模型不能很好捕捉实体和关系的相关性。
(4)双线性模型 Bilinear Model:模型认为实体之间是二阶相关的,用htWrth^tW_rthtWrt来建模。
(5)单层网络模型 Single Layer Model:使用神经网络的非线性变换,将h,th, th,t作为输入,并加以非线性层,最后用线性单元计算得分urf(Wrhh+Wrtt+br)u_r f(W_{rh}h+W_{rt}t+b_r)urf(Wrhh+Wrtt+br)。
(6)神经张量网络 Neural Tensor Network:在此篇文章中的神经张量网络之后加入了非线性单元。
3、TransH
为了克服TransE在对一对多,多对一和多对多的关系上的不足,我们提出了一种针对不同关系的分布式表示方法,TransH。如图所示,对于一个关系rrr,设置一个关系翻译向量drd_rdr,在关系所在的超平面wrw_rwr中(wrw_rwr是单位向量),而不是在整个嵌入表示的空间中。具体而言,对于一个三元组(h,r,t)(h, r, t)(h,r,t),h,th, th,t的嵌入表示首先投影到超平面wrw_rwr, 他们的投影分别是h⊥,t⊥h_{\perp}, t_{\perp}h⊥,t⊥。假定在超平面内,关系满足向量加法,即h⊥+r=t⊥h_{\perp} + r = t_{\perp}h⊥+r=t⊥,那么误差即为∣∣h⊥+dr−t⊥∣∣22||h_{\perp} + d_{r} - t_{\perp}||_2^2∣∣h⊥+dr−t⊥∣∣22。约束∣∣wr∣∣2=1||w_r||_2=1∣∣wr∣∣2=1,那么h⊥=h−wrThwrt⊥=t−wrTtwrh_{\perp}=h-w_r^Thw_r \\t_{\perp}=t-w_r^Ttw_rh⊥=h−wrThwrt⊥=t−wrTtwr最终得分函数为fr(h,t)=∣∣(h−wrThwr)+dr−(t−wrTtwr)∣∣22f_r(h, t) = ||(h-w_r^Thw_r)+d_r-(t-w^T_rtw_r)||_2^2 fr(h,t)=∣∣(h−wrThwr)+dr−(t−wrTtwr)∣∣22
这里投影向量的计算推导过程如下图所示:
上述为TransH的基本模型,除此之外,还有一定的约束条件,如下∀e∈E,∣∣e∣∣2≤1∀r∈R.∣wrTdr∣/∣∣dr∣∣2≤ϵ∀r∈R,∣∣wr∣∣2=1\forall e \in E, ||e||_2 \le 1 \\\forall r \in R. |w_r^Td_r|/||d_r||_2 \le \epsilon \\\forall r \in R, ||w_r||_2 = 1∀e∈E,∣∣e∣∣2≤1∀r∈R.∣wrTdr∣/∣∣dr∣∣2≤ϵ∀r∈R,∣∣wr∣∣2=1
含义分别为
- 所有实体的L2范数小于等于1,避免模型通过调整实体嵌入表示的大小,来达到目的。
- 对于每个关系平面的法向量,和平面上的翻译向量,要满足相互垂直。
- 每个关系平面的法向量应该为单位向量。
在考虑到上述的约束之后,损失函数为
L=∑(h,r,t)∈△∑(h′,r′,t′)∈△′[fr(h,t)+γ−fr′(h′,t′)]+C{∑e∈E[∣∣e∣∣22−1]+∑r∈R[(wrTdr)2∣∣dr∣∣22−ϵ2]}L = \sum_{(h,r,t)\in\triangle} \sum_{(h',r',t')\in \triangle'}[f_r(h, t) + \gamma - f_{r'}(h', t')] + C\{\sum_{e\in E}[||e||_2^2-1] + \sum_{r\in R}[\frac{(w_r^Td_r)^2}{||d_r||^2_2} - \epsilon^2]\}L=(h,r,t)∈△∑(h′,r′,t′)∈△′∑[fr(h,t)+γ−fr′(h′,t′)]+C{e∈E∑[∣∣e∣∣22−1]+r∈R∑[∣∣dr∣∣22(wrTdr)2−ϵ2]}
CCC为超参数,用于调节约束的重要程度。
在训练时,仍然使用了负采样的技术。但由于一对多,多对一和多对多的关系关系存在,若随机采样作为负样本,则很容易出现假负例,影响训练效果。本文提出了一种依据概率进行选取的方法,在构造负样本的时候,对于一对多的关系更倾向于替换头实体,而对于多对一的关系更倾向于替换尾实体。
首先需要统计两个数值,平均每个头实体链接的尾实体数目,记作tphtphtph;平均每个尾实体链接的头实体数目,记作hpthpthpt。对于一个样本(h,r,t)(h,r,t)(h,r,t),以tphtph+hpt\frac{tph}{tph+hpt}tph+hpttph的概率替换头实体,以hpttph+hpt\frac{hpt}{tph+hpt}tph+hpthpt 的概率替换尾实体。
4、实验
选择了三个实验来验证模型的效果,并分别计算了meanrankmean\ rankmean rank和hit@10hit@10hit@10。其具体计算和含义可参照此处。
数据集信息如下所示
4.1、链接预测(同TransE)
此外,也给出了对于不同关系TransH和TransE的对比。
4.2、三元组分类
判断一个给定的三元组为正确或错误,或者说头实体和尾实体是否存在给定的关系。
4.3、文本关系提取
文本关系提取是扩充知识图谱的重要方式。通过知识图谱的嵌入表示,不需要任何额外的文本内容,就能够对候选实事进行评分。此处选取了数据集中最普及的50条断言,数据集被分为两部分,一部分作为训练,另一部分作为测试。通过AUC来对模型进行评价,与X轴和Y轴围成的面积越大越好。
5、结论
本文提出了TransH,一种用于知识图谱嵌入的新的方法。TransH克服了TransE在一对多,多对一和多对多关系上表现的不足。实验证明在链接预测,三元组分类和文本关系提取三个任务上,和TransE相比均有提升。
TransH:将知识嵌入到超平面(知识图谱嵌入)2014 AAAI相关推荐
- 论文浅尝 | 基于超平面的时间感知知识图谱嵌入
链接:http://talukdar.net/papers/emnlp2018_HyTE.pdf 本文主要关注 KG embedding 中三元组成立的时间有效性问题,比如三元组(Cristiano ...
- 知识图谱嵌入的Translate模型汇总(TransE,TransH,TransR,TransD)
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Xu LIANG 编译:ronghuaiyang 导读 一文打尽图嵌入Tr ...
- 知识图谱嵌入的Translate模型汇总(TransE,TransH,TransR,TransD
一文打尽图嵌入Translate模型,各种模型的动机,优缺点分析. 本文对知识图谱嵌入/知识表示的转换模型进行了简要的总结.你可以从TensorFlow-TransX中找到开源的TensorFlow代 ...
- 知识图谱嵌入(KGE)主流模型简介
1. KGE简介 目前(2020.03)知识图谱嵌入研究方法众多,本文将对其中的主流方法进行简要介绍,如翻译.双线性.神经网络.双曲几何.旋转等.各方法细节请看原论文,文中错误欢迎指出,谢谢. 知识图 ...
- 知识图谱嵌入经典方法(Trans系列、KG2E)
1. 知识图谱嵌入 相关内容部分来自:https://zhuanlan.zhihu.com/p/147542008,https://mp.weixin.qq.com/s/Cb-CP1Tf2bv_hly ...
- 论文浅尝 | PairRE: 通过成对的关系向量实现知识图谱嵌入
笔记整理:黎洲波,浙江大学硕士,研究方向为自然语言处理.知识图谱. 研究背景 知识图谱因其在问答.语义解析和命名实体消歧等任务取得了良好的效果而受到广泛关注,而大部分知识图谱都存在不全和缺失实体链接的 ...
- FKGE:合格的知识图谱嵌入已经学会保护隐私啦!
来源 | ACT_BIGDATA 本文介绍我们最近的一项被CIKM 2021录用的工作<Differentially Private Federated Knowledge Graphs Emb ...
- 技术动态 | 「知识图谱嵌入技术研究」最新2022综述
转载公众号 | 专知 知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术. 知识图谱嵌入(KGE)作为一 种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的 ...
- CIKM 2021 | FKGE:差分隐私的联邦知识图谱嵌入
本文介绍我们最近的一项被CIKM 2021录用的工作<Differentially Private Federated Knowledge Graphs Embedding>: Paper ...
最新文章
- mysql dataset_数据库 dataset database
- beego 访问网络_Go--Beego新建项目(解决不能访问的问题)
- Ubuntu下如何安装Dynamips
- 2019计算机考研学校排行,2019计算机考研:中国大学计算机学科排行榜
- 三星手机投屏电脑教程 手机和电脑同屏
- 语音识别:声学的要素和特征
- 单片机2017福建省中职省赛_2017年福建省职业院校技能大赛首批设115个赛项
- UEFI版制作U盘启动盘重装系统
- [渝粤教育] 东北大学 现代科学运算—MATLAB语言与应用 参考 资料
- Smarty安装教程
- 凉凉夜色为你思念成河
- 烦心事一件接着一件,此起彼伏
- linux系统:rm-rf执行以后,怎么办?我来教你恢复文件
- 开源android客户端_4个开源Android电子邮件客户端
- mysql group by笔试题_[PBN笔试题]mysql 一个简单查询中的group by 和 order by 的使用
- activiti——网关
- smardaten获亚马逊云科技GSP、FTR双重认证
- 盛世昊通强势规划资本运营板块,孵化企业纳斯达克上市之路
- 五 树莓派点点滴滴小知识
- 响铃:看脸的时代,美颜修图app如何光彩活下去?
热门文章
- 【CAM应用】谈CAM软件在实际生产中的应用举例
- 一周最新示例代码回顾 (4/2–4/8)
- Jquery快速构建可拖曳的购物车-DragDrop
- 算法:由0-5随机数设计0-8随机数
- ZooKeeper(三) 什么是分布式锁以及使用Redis手写实现
- 20191219算法题存档
- 显示recv调用次数_腾讯云“云开发”日调用超7亿次,只为和开发者“交个朋友”...
- RabbitMQ 构建高可靠集群架构
- 3 RabbitMQ高级特性 3
- 宿主机使用nginx向docker容器转发https请求