TransE, TransR

TransE

最基本的模型。后面很多模型都是基于TransE对图的嵌入，再做后续的处理。
TransE的理论简单，它为实体和关系都设置一个向量，并要求一个三元组(h,r,t)在嵌入空间后的位置关系要保证∣∣h+r−t∣∣≈0||h+r-t||≈0∣∣h+r−t∣∣≈0。
算法如下
input:S是三元组集合，E是实体集合，L是关系集合，超参数γ是为了让正负例距离至少拉开γ远，k是嵌入的维度

初始化关系 lll
正则化，使其长度为1.
初始化实体e，这里没正则化，因为它更新的时候希望还保持长度为1，所以放循环里正则化。
注意uniform是均匀分布，分布的区域就是给的两个数。
loop
正则化e
SbatchS_{batch}Sbatch：在S里采样b个用于本次训练
TbatchT_{batch}Tbatch：初始化是空，功能看后面
for 循环 SbatchS_{batch}Sbatch
为每个三元组采样一个负例，即错误的三元组。怎么采任你发挥，但只能改实体，不能改关系。
打包正负例为一组，存到TbatchT_{batch}Tbatch里
end for。所以这个for纯粹是训练数据的准备阶段。
套公式，并梯度更新各个向量。
end loop

TransR

它把空间分为实体空间和关系空间。
让我举个例子说明它如何工作：
假设老师A与学生a关系为师生r
Aa在实体空间的嵌入用符号表示为A和a
经r对应的关系矩阵Mr转换A和a，得Ar=MrAA_r=M_rAAr=MrAar=Mraa_r=M_raar=Mra此时Ar和ar就是关系空间的向量了。
我们会训练Mr，让它能做到使Ar和ar的距离恰好等于r。
||注：r也是需要训练的。

我们回过头看实体空间，它的功能是什么？
它要保证这些实体在实体空间里的嵌入能满足不同关系空间的要求。

TransR可以精准地表示1-to-n关系。还以老师学生举例。
TransR可能把学生们分散在实体空间的任意位置，但经Mr变换后，学生们在r的关系空间里，或许会全部变成同一个点or聚成一堆。这时候不就能很简单地训练老师在r的嵌入和r本身的嵌入了吗？只要1-to-n关系的n能聚在一起，1-to-n就是小问题了。

TransR的评分函数很简单fr(h,t)=∣∣hr+r−tr∣∣22f_r(h,t)=||h_r+r-t_r||^2_2fr(h,t)=∣∣hr+r−tr∣∣22hr=Mrh,tr=Mrth_r=M_rh, t_r=M_rthr=Mrh,tr=Mrt

论文要求所有嵌入的长度都要比1小，因为等比例放大的嵌入是无意义的，你不管一下它们可能训着训着就上天了，就不停地变大了。

有了评分函数，你可以使用TransE的负采样和loss函数训练了。
超参数γ在TransR中的效果和在TransE中一样，同样是让不符合关系r的其他实体躲远点，距离至少为γ。论文中的这张图就是γ发挥作用的效果，在关系空间中把无关的三角形实体从hr和tr周围赶走了。

TransE, TransR相关推荐

[论文学习]TDN: An Integrated Representation Learning Model of Knowledge Graphs
[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容摘要前言相关工作基于T ...
【实体对齐·综述】A Benchmarking Study of Embedding-based Entity Alignment for Knowledge Graphs
文章目录模板的简述简述 1.Introduction 2. preliminatries 2.1 literature review 2.1.1 knowledge graph embedding ...
cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Heterogeneous Graphs and Relational GCN (RGCN) ...
深度学习在自然语言处理中的应用: 集智俱乐部活动笔记
http://www.zmonster.me/2016/12/14/dl_in_nlp.html 目录简介深度学习在自然语言处理中的应用可微数据结构(Differentiable Data-st ...
知识图谱嵌入的Translate模型汇总（TransE，TransH，TransR，TransD）
点击上方"AI公园",关注公众号,选择加"星标"或"置顶" 作者:Xu LIANG 编译:ronghuaiyang 导读一文打尽图嵌入Tr ...
基于翻译的模型-TransE,TransH,TransR,TransD
基于翻译的模型 TransE模型 TransE认为在知识库中,三元组<h,r,t>可以看成头实体h到尾实体t利用关系r所进行的翻译. 比如,<柏拉图,老师,苏格拉底>头实体&q ...
知识图谱嵌入的Translate模型汇总（TransE，TransH，TransR，TransD
一文打尽图嵌入Translate模型,各种模型的动机,优缺点分析. 本文对知识图谱嵌入/知识表示的转换模型进行了简要的总结.你可以从TensorFlow-TransX中找到开源的TensorFlow代 ...
知识图谱表示学习Transe TransD TransR等的评价指标 hit@10、mean rank的理解
最近学习了知识图谱数值表示方式的学习算法,包括TransE.TransD.TransR等,看到提到的评价指标有hit@10.mean rank等,一开始对于这些指标并不清楚.在看了一篇Transe的实 ...
TransR：实体和关系分开嵌入（知识图谱嵌入）2015 AAAI
论文链接:http://nlp.csai.tsinghua.edu.cn/~lyk/publications/aaai2015_transr.pdf 代码链接:https://github.com/m ...
[仅个人学习用] 知识图谱刘知远老师 TransE
ML = representation + objective + optimization 1.representation 表示学习的基本思想是提出一种所谓的Distributed Represe ...

TransE, TransR

TransE

TransR

TransE, TransR相关推荐

最新文章

热门文章