Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记

Rule-Guided Compositional Representation Learning on Knowledge Graphs

1.表示学习知识图谱（KG）是将KG的实体和关系嵌入到低维连续向量空间中。

2.可以使用Horn规则在语义级别上组合路径和关联关系，以提高学习路径上KG嵌入的精度，并增强表示学习的可解释性。

3.DPTransE共同构建了KG的潜在特征和图形特征之间的交互，以提供精确而有区别的嵌入。

4.路径增强模型：由于多跳路径可以提供KG中看似未连接的实体之间的关系，因此KG中存在的路径已受到更多关注，可以与KG嵌入相结合。

5.论文提出了一种新颖的基于规则和基于路径的联合嵌入（RPJE）方案，该方案利用了逻辑规则的可解释性和准确性， KG嵌入的一般化以及路径的补充语义结构。特别是，首先从KG中提取以Horn子句形式存在的不同长度（规则主体中的关系数）的逻辑规则，并精心编码以表示学习。然后，使用长度为2的规则来精确地组成路径，而明确使用长度为1的规则来创建关系之间的语义关联并约束关系嵌入。而且，在优化中还考虑了每个规则的置信度，以保证将规则应用于表示学习的可用性。

1.Logic Rules Extraction from KG：从KG中挖掘规则及其置信度，表示为μ∈[0,1]。具有较高置信度的规则具有较高的保持可能性。将有效规则的最大长度限制为2。

R1：长度为1的规则集，关联规则主体和规则头中的两个关系。

R2：长度为2的规则集，可用于组成路径。

一些规则R1和规则R2的示例：

2.Rules Employment for Compositional Representation Learning：首先通过PTransE在KG上执行路径提取过程，其中每个路径p及其可靠性都通过路径约束资源分配机制获得，并表示为R（p | h，t）在实体对（h，t）之间。通过选择实体对（h，t）之间的路径（其可靠性超过0.01）来生成每个路径集P（h，t）。特别是，必须由规则R2中每个规则主体的原子形成一个顺序路径以构成路径。对每个规则进行编码，以形成其规则主体的定向路径。

同时需要考虑到可以同时在路径中匹配多个规则的情况，应选择置信度最高的规则来构成路径。为了表示学习，需要将（a，r2，b）⇐（b，r1，a）形式的规则编码为（a，r2，b）r（a，r1-1 ，b）。

3.Compositional Representation Modeling：定义了三个能量函数分别与直接三元组以及典型的基于翻译的方法，使用规则R2和使用规则R1的关系对：

E2（p，r）表示评估路径p与关系r之间相似性的能量函数。C（p）表示路径p的合成结果，它是根据2（Rules Employment for Compositional Representation Learning）中说明的路径合成过程获得的。B（p）= {μ1，...，μn}表示与构成路径p的过程中使用的规则R2中的所有规则相对应的置信度级别集合。E3（r，re）是能量函数，指示关系r和另一个关系re的相似性，并且如果re是与规则R1关联的关系r所隐含的关系，则re应当被赋予更少的分数。

4. Objective Formalization：引入了成对排名损失函数来形式化用于训练的RPJE的优化目标：

D（r）定义为根据规则R1从r推导出的所有关系集，而re是D（r）中的任何关系。

三个基于边际的损失函数。 γ1，γ2，γ3是分别表示方程式5、6、7中每个损失函数的三个正超参数。三元组的权重固定为1，而α1，α2是两个超参数，分别加权路径的影响和关联对的重合度，以r表示约束。所有规则的置信度都被认为是优化中的惩罚系数。

T代表在KG中观察到的所有正三元组的集合。T-包含通过随机替换T中的实体和关系并删除T中已存在的三元组而重构的负三元组。

为了解决优化问题，使用小批量随机梯度下降（SGD）。并考虑训练效率，将路径限制为不超过3个步骤。

Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记相关推荐

Generative Adversarial Zero-shot Learning via Knowledge Graphs翻译
Generative Adversarial Zero-shot Learning via Knowledge Graphs Abstract: 零样本学习(ZSL)是处理那些没有标记训练数据的看不见 ...
机器学习实战（Machine Learning in Action）学习笔记————06.k-均值聚类算法（kMeans）学习笔记...
机器学习实战(Machine Learning in Action)学习笔记----06.k-均值聚类算法(kMeans)学习笔记关键字:k-均值.kMeans.聚类.非监督学习作者:米仓山下时 ...
Machine Learning with Python Cookbook 学习笔记第8章
Chapter 8. Handling Images 前言本笔记是针对人工智能典型算法的课程中Machine Learning with Python Cookbook的学习笔记学习的实战代码都放 ...
Machine Learning with Python Cookbook 学习笔记第9章
Chapter 9. Dimensionality Reduction Using Feature Extraction 前言本笔记是针对人工智能典型算法的课程中Machine Learning w ...
Machine Learning with Python Cookbook 学习笔记第6章
Chapter 6. Handling Text 本笔记是针对人工智能典型算法的课程中Machine Learning with Python Cookbook的学习笔记学习的实战代码都放在代码压缩 ...
【论文阅读｜深读】 GraphSAGE：Inductive Representation Learning on Large Graphs
目录前言简介 Abstract 1 Introduction 2 Related work 3 Proposed method: GraphSAGE 3.1 Embedding generatio ...
Few-Shot Representation Learning for Out-Of-Vocabulary Words 论文笔记
<Few-Shot Representation Learning for Out-Of-Vocabulary Words> 这篇文章是发表在2019年NAACL上的,主要是针对out o ...
【论文翻译|2021】A survey on heterogeneous network representation learning 异构网络表示学习综述
文章目录摘要 1引言 2 相关工作 3 相关概念 4 分类 4.1 异构信息网络表示方法概览 4.2 异构信息网络嵌入算法的分类 4.3 基于路径的算法 4.3.1 传统的机器学习 5 讨论 5.1 ...
【论文翻译 IJCAI-20】Heterogeneous Network Representation Learning 异构网络表示学习
文章目录摘要 1 引言 2 异构网络挖掘 3 异构网络表示 3.1 异构网络嵌入 3.2 异构图神经网络 3.3 知识图谱与属性网络 3.4 应用 4 挑战.方向和开源数据 4.1 未来方向避免设 ...

Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记

Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记相关推荐

最新文章

热门文章