论文标题：

Translating Embeddings for Modeling Multi-relational Data——NIPS2013

论文链接

https://proceedings.neurips.cc/paper/2013/file/1cecc7a77928ca8133fa24680a88d2f9-Paper.pdfhttps://proceedings.neurips.cc/paper/2013/file/1cecc7a77928ca8133fa24680a88d2f9-Paper.pdf

文章背景:

在现实的应用中，存在着很多Multi-relational data。对于这种relation data的建模目的就是，期望能够挖掘出不同的entity（head和tail）之间的局部或者全局的连接pattern，利用已经观察到的entity之间的relationship，去泛化到其他entity之间，自动预测他们之间的relationship。

基础知识背景：一条知识图谱可以表示为一个三元组(sub,rel,obj)。举个例子：小明的爸爸是大明，表示成三元组是（小明，爸爸，大明）。前者是主体，中间是关系，后者是客体。主体和客体统称为实体（entity）。关系有一个属性，不可逆，也就是说主体和客体不能颠倒过来。知识图谱的集合，链接起来成为一个图（graph），每个节点是一个一个实体，每条边是一个关系，或者说是一个事实（fact）。也就是有向图，主体指向客体。

解决问题:

传统的对于relation data的建模更多考虑对于single-relation data，如何设计一种能够考虑到entities和relationship都有多种种类的情况的建模方法，能够从异质关系中挖掘出更为通用的pattern。

创新点：

本文介绍了一种基于能量的实体低维嵌入学习模型TransE。在TransE中，关系被表示为嵌入空间中的平移。如果(h，l，t)成立，那么尾实体t的嵌入应该接近于头实体h的嵌入，加上依赖于关系的一些向量。论文的方法=依赖于一组简化的参数，因为它只学习每个实体和每个关系的一个低维向量。

直观上，将每个三元组实例（head，relation，tail）中的关系relation看做从实体head到实体tail的翻译，通过不断调整h、r 和 t（head、relation和tail的向量），使（h + r）尽可能与 t 相等，即 h + r = t

（energy-based model基于能量的机器学习模型即是寻找这样一个函数，和输入数据越接近，能量越小。给定一个输入，最好的模型即是对应的Y的值是真实值，这个真实值的能量是最小的。）

解决方案

当给定训练集 S时，其由这样的三元组构成(h,l,t)，其中 h,t来自E（entites的集合），而 l来自于 L（relationship的集合）。为了学习到每个entities和不同relationship所对应的 k维embedding，要优化的目标如下：

S是知识库中的三元组即训练集，S’是负采样的三元组，通过替换 h 或 t 所得，是人为随机生成的。γ 是取值大于0的间隔距离参数，是一个超参数，[x]+表示正值函数，即 x > 0时，[x]+ = x；当 x ≤ 0 时，[x]+ = 0 。算法模型比较简单，梯度更新只需计算距离 d(h+r, t) 和 d(h’+r, t’)。

TransE 定义了一个距离函数 d(h + r, t)，它用来衡量 h + r 和 t 之间的距离，在实际应用中可以使用 L1 或 L2 范数。在模型的训练过程中，transE采用最大间隔方法，最小化目标函数.

训练的算法流程如下：

总结和思考

本文提出了一种新的方法来学习KBs（knowledge based system知识库系统）的嵌入，重点是模型的最小参数化，以主要表示层次关系。以前的模型的更高表达性导致模型复杂性的显著增加，这导致建模假设难以解释，并且以更高的计算成本；此外，这些方法可能受到过度拟合，因为这种高容量模型的适当正则化难以设计，或者由于非凸优化p而欠拟合。

TransE的直观含义，就是TransE基于实体和关系的分布式向量表示，将每个三元组实例（head，relation，tail）中的关系relation看做从实体head到实体tail的翻译（其实就是向量相加），通过不断调整h、r和t（head、relation和tail的向量），使（h + r）尽可能与 t 相等，即 h + r = t。

transE论文阅读 19年记录的相关推荐

缺陷检测相关论文阅读总结（记录自己读过的论文主要内容/Ideas）
缺陷检测相关论文阅读总结(记录自己读过的论文主要内容) Attention!!! 点击论文题目即可访问原文or下载原文PDF文件: 每篇文章的内容包含:内容总结.文章Ideas: 更多关于缺陷检测以及 ...
[论文阅读] (26) 基于Excel可视化分析的论文实验图表绘制总结——以电影市场为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (23)恶意代码作者溯源(去匿名化)经典论文阅读：二进制和源代码对比
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (20)USENIXSec21 DeepReflect：通过二进制重构发现恶意行为（恶意代码ROI分析经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (30)李沐老师视频学习——3.研究的艺术·讲好故事和论点
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (24) 向量表征：从Word2vec和Doc2vec到Deepwalk和Graph2vec，再到Asm2vec和Log2vec(一)
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (27) AAAI20 Order Matters: 基于图神经网络的二进制代码相似性检测（腾讯科恩实验室）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
Life Long Learning论文阅读记录之LwF
Life Long Learning论文阅读记录之LwF 写在前面获取原文问题难点目标符号说明现有方法不使用旧数据集的方法 Learning without Forgetting(LwF ...

transE论文阅读 19年记录的