Differentiable Learning of Logical Rules for Knowledge Base Reasoning
Differentiable Learning of Logical Rules for Knowledge Base Reasoning
- 来源
- 背景
- Motivation
- 模型
- 实验
- 代码
来源
2017 Nips
Fan Yang Zhilin Yang William W. Cohen
School of Computer Science
Carnegie Mellon University
{fanyang1,zhiliny,wcohen}@cs.cmu.edu
背景
在人工智能和机器学习领域,学习由一阶逻辑规则组成的集合是一个重要的问题,由于它的可解释性,逻辑规则表示在知识图谱推理任务中非常有用。一个新的事实加入到知识图谱中,规则在不再训的情况下依然保持准确性。通常的底层逻辑是概率逻辑,使用概率逻辑的好处是可以丰富逻辑规则,可以处理更复杂和具有噪声的数据。学习这样概率逻辑规则是非常困难的,不仅要求学习离散空间中的规则结构,还需要学习连续空间中的参数(规则的置信度)。
结构化embedding 方法是知识图谱推理中非常流行的方法,这些方法通常是将实体以及关系表示为潜在语义空间中向量或者张量,基于embedding的方法解释性较差,并且当有新的事实加入到知识图谱中时,可能会导致一些结果的不准确。
Motivation
本文讲探索一个可微的系统可以学习由一阶逻辑规则集合组成的模型,这样的好处是允许使用基于梯度的优化方法和目标规划框架。本文受TensorLog的启发,将推断任务编译成可微的数值矩阵序列,这个方法叫做Neural LP
模型
知识库推理:本文考虑的知识图谱推理任务是对于一个查询和一个尾实体,头实体是查询的答案。目标是检索出实体的排序,使得满足查询的实体有尽可能靠前的排序。对于每个查询,本文的兴趣在于学习具有如下形式的带有权重的链式规则,
TensorLog:
将实体表示成one-hot的形式,一个关系R表示为邻接矩阵MRM_RMR,MR(i,j)=1M_R(i,j)=1MR(i,j)=1表示实体i 和实体j之间存在关系R。逻辑规则推断可以表示成算子的运算。P(Y,Z)⋀Q(Z,X)−>R(Y,X)P(Y,Z)\bigwedge Q(Z,X)->R(Y,X)P(Y,Z)⋀Q(Z,X)−>R(Y,X) 表示为MP⋅MQ⋅vx=sM_P\cdot M_Q\cdot v_x = sMP⋅MQ⋅vx=s, 如果s是非零向量,则表明存在y,z,x满足P(y,z)P(y,z)P(y,z), Q(z,x)Q(z,x)Q(z,x), 类似任意长度的逻辑规则可以归结为算子的运算。
对于每一个查询,期望能够学习到一些带有置信度(权重)的规则:
在进行推断的时候,给定一个实体vxv_xvx, 对于检索到的实体进行打分:
因此对于每个查询来说,我们的目标函数是:
(x,y)(x,y)(x,y)是满足查询的实体对,ala_lal 和βl\beta_lβl需要学习的,
学习逻辑规则:
可微的逻辑规则学习过程难点在于参数是和每个规则关联的,但是规则是离散的。
为了克服这个困难,将(2)式转化成如下形式:
TTT表示规则的最大程度,RRR表示关系的数量。
在上面(5)(5)(5)中,所有的规则具有相同的长度,为了克服这一点,引入了循环的形式:
内存中维护utu_tut, 计算hth_tht使用了lstm模型,inputinputinput指的是1≤t≤T1\leq t \leq T1≤t≤T 时的query, 这里的query 指的是关系的向量表示
目标函数:最大化logvyTulog v^T_yulogvyTu
本文逻辑规则推断系统架构如下图:
实验
- 统计关系学习
统计指标是hits@10
2.网格路径寻找
3. 知识图谱补全
代码
Differentiable Learning of Logical Rules for Knowledge Base Reasoning相关推荐
- 论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals 引 ...
- 【保姆级】论文阅读与分析《Learning Heterogeneous Knowledge Base Embeddings for Explainable Recommendation》
<Learning Heterogeneous Knowledge Base Embeddings for Explainable Recommendation>-by Qingyao A ...
- Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base(笔记)
introduction 组织世界上的事实并且把它们存储成结构化的数据逐渐变成开源域问答的重要资源,例如:DBPedia (Auer et al., 2007) and Freebase (Bolla ...
- 如何利用knowledge base来做推荐
本文描述的是推荐系统使用Linked Data做为主要数据源的情况. 注:文中的SparQL语句可以在这里查询 首先介绍一点背景信息.Dr. Gautam Shroff在<Web Intelli ...
- 文献阅读课10-Neural Relation Extraction for Knowledge Base Enrichment(提取+嵌入+消歧+规范化联合模型,实体已知,仅关系抽取,多词实体)
文章目录 Abstract 1.Introduction 2. 相关工作 2.2 Entity-aware Relation Extraction 3.提出的模型 3.1 Solution Frame ...
- 【KBQA综述-0】Complex Knowledge Base Question Answering: A Survey
Complex Knowledge Base Question Answering: A Survey(2021年10月) 前言 这是一篇对于复杂问题KBQA领域的详细综述,其工作主要集中在以下方面: ...
- Collaborative Knowledge Base Embedding for Recommender Systems学习心得
本文翻译自<<Collaborative Knowledge Base Embedding for Recommender Systems>> 这篇论文. 为了表述通畅,文章采 ...
- 论文解读:Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Info...
论文解读:Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Informa ...
- 【阅读笔记】Reasoning With Neural Tensor Networks for Knowledge Base Completion
前言 论文地址 Poster Abstract 这篇论文里,作者介绍了一个适用于推理两个实体关系的神经网络(Neural Tensor Network).相比之前的工作要么将实体表示成离散的最小单元或 ...
最新文章
- Silverlight学习笔记十七BingMap(六)之获取图片系统的图片信息ImageryService的应用...
- 程序员必备的20个软件
- 互联网协议 — BGP 边界网关协议 — Router(路由器)
- 声明变量_如果同时声明多个变量
- Angular中数据文本绑定、绑定Html、绑定属性、双向数据绑定的实现方式
- Activity生命周期 onCreate onResume onStop onPause
- C++ 面向对象(三)异常 :异常概念、异常的匹配规则、异常安全、异常体系
- 《长调》 :寻找我们共同失去的天堂
- 正则表达式的一些符号基础和实例解析
- 如何高效使用和管理Bitmap--图片缓存管理模块的设计与实现
- OpenCV2简单的特征匹配
- 图片PDF转word
- 谈谈创业这点事(4)
- “雪糕刺客”你听说过,Bitmap这个“内存刺客”你也要小心(上)~
- Opengl 之 窗口初体验 ------ By YDD的铁皮锅
- 1分钟学会给你的网站添加上https!
- elementui的表单验证踩坑-动态绑定输入框required后只显示英文提示
- 引用Microsoft.Office.Interop.Excel的解决方法
- win10引导安卓x86_手把手给你传授win10系统安卓模拟器使用的处理方法
- oracle实验报告4:Oracle数据库模式对象管理(含实验小结)