论文浅尝 - ICLR2020 | 通过神经逻辑归纳学习有效地解释
论文笔记整理:朱渝珊,浙江大学直博生。研究方向:知识图谱,快速表示学习等。
论文链接:https://arxiv.org/pdf/1910.02481.pdf
本文是ICLR 2020的一篇关于知识图谱中关于复杂(树状、组合)规则可微学习的文章。提出了神经逻辑归纳学习(NLIL),一种可微分的ILP方法,扩展了针对一般ILP问题的多跳推理框架。NLIL将搜索空间分解为一个层次结构中的3个子空间,每个子空间都可以通过注意力高效地进行搜索。作者证明通过这种方式模型可搜索的规则比使用NeuralLP等方式搜索的规则长10倍,且拥有更快的速度。
1. 相关背景
1.1 Inductive Logic Programming (ILP)
一阶逻辑系统有3个组件:实体,谓词和公式。以下图为例:
实体是对象x∈X。图像中某区域是实体x,所有可能区域集合是X。
谓词是将实体映射到0或1的函数,Person:x →{0,1},x∈X。谓词可有多个输入,如“Inside”是接受2输入的谓词,参数的数量称为Arity。原子是应用于逻辑变量的谓词符号,如person(X)和Inside(X,X')。
一阶逻辑(FOL)公式是使用逻辑运算{∧,∨,¬}的原子的组合。给定一组谓词P ={P1...PK},谓词Pk的解释定义为一阶逻辑蕴涵,
Pk(X,X')是蕴涵的头,如它是一元谓词,则为Pk(X)。A为规则主体,如
代表着这样的知识:“如果物体在车内,身上有衣服,那就是人”。
1.2 多跳推理:
ILP问题与KG多跳推理任务相关。此处,事实存储在谓词Pk的二进制矩阵Mk中,Mk(i,j)=1表明三元组在KG中。
给定查询q=
M(t)是在第 t 跳中用的谓词的邻接矩阵。v(t)是路径特征向量,v(t)中第j个元素计算从x到xj的唯一路径的数量。经过T步推理后,查询的分数计算为
对于每个q,目标是(i)找到一个合适的T,(ii)为每个t∈[1,2,...,T],找到一个合适的M(t),使得score最大。这两个离散的选择可以放宽,即
此为软路径选择函数,参数为
(i)路径注意向量,选择长度在1到T之间回答查询的最佳路径。
(ii)谓词注意向量,在第t步选择M(t)。
这两个注意向量是通过下述模型生成的
参数w可学习。以前的一些方法,T(x; w)是一个随机游动采样器,它会生成one-hot向量来模拟从x开始的图形上的随机游动。在NeuralLP中,T(x; w)是一个RNN控制器,目标定义为
在多跳推理中学习关系路径可以解释为使用链状FOL(一阶逻辑)规则解决ILP问题
与基于模板的ILP方法(如∂ILP)比,此类方法在规则探索和评估中非常有效。但是,存在两个问题
(P1)规则的表达性不足,仅能表达链状规则,例如等式(2)不是链状的就不能表示。
(P2)注意生成器T(x; w)取决于特定查询q的实体x,这意味着针对目标P*生成的解释可能因查询而异,很难学习KG中全局一致的FOL规则。
2. 算法模型
推理过程中所有中间实体都用首尾实体表示
如上将公式(1)转换为(7)所示,实现方法就是通过转换的函数(操作符):将每个谓词k都视为一个操作符ϕk,如下所示,U是一元谓词,B是二元谓词
则规则(2)可以表述成规则(8),这样首尾实体在具体实现时用随机初始化的向量表示,摆脱了数据依赖
扩展到树状规则
提出Primitive Statements(基本语句)的概念,公式(8)可视为两个基本语句组成,和
每个基本语句都是从输入空间映射到一个置信度得分标量
公式(3)可表示为
如下图所示,树状规则可表示为
规则之间的组合
把基本语句用{∧,∨,¬}进行逻辑组合,如公式(8)就是两个基本语句的逻辑“and”操作。逻辑 “not” 及逻辑 “and” 运算如下表示
第l级的公式集以及最后的得分就可如下方式推得
整个流程可以如下图所示
其中都是注意力,W/sum 是加权和,Matmul 指矩阵乘积,Neg 是逻辑“not”,XEnt 是交叉熵。
具体实现上:Hierarchical Transformer Networks for Rule Generation,引入“虚拟”自变量X和X’,学习的参数有逻辑谓词向量 和相应的注意力参数,公式为
其中h*是P*的嵌入,因此注意力仅相对于P*有所不同。
3. 实验
Baseline
•NeuralLP (Yang , 2017)
•∂ILP (Evans , 2018)
•TransE (Bordes , 2013)
•RotatE (Sun , 2019)
Dataset
•ES(Even-and-Successor) (Evans , 2018) :两个一元谓词Even,Zero和一个二元谓词Successor。目标是学习一组整数上的FOL规则。本文对从0开始的10、50和1K个连续整数评估。
•FB15K-237
•WN18
•VG(Visual Genome),视觉领域数据,以物体检测任务为基础,将图片上的物体之间的关系抽象成小的知识图谱
FB15k-237和WN18数据上链接预测
ES数据上与不同算法对比,(a)时间 (mins),(b)规则长度
VG数据集,不同training-set大小
虽然基于丰富标签数据的监督学习方法达到了比较好的效果,但是NLIL仅仅利用稀疏的(0/1)标签就能达到匹敌的效果,甚至显著优于一种监督模型baseline的效果,进一步体现出了模型的有效性。在少样本学习(训练样本仅0.01%)也体现出更好性能。
4.总结
本文提出了神经逻辑归纳学习,这是一个可区分的ILP框架,可以从数据中学习解释性规则。
证明了NLIL可以扩展到非常大的数据集,同时能够搜索复杂的表达规则。更重要的是,本文还证明了可扩展的ILP方法在解释监督模型的决策方面是有效的,这为检查机器学习系统的决策过程提供了另一种视角。
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 - ICLR2020 | 通过神经逻辑归纳学习有效地解释相关推荐
- 论文浅尝 - ICLR2020 | 具有通用视觉表示的神经机器翻译
论文笔记整理:柏超宇,东南大学在读硕士. 来源:ICLR2020 https://openreview.net/forum?id=Byl8hhNYPS 代码链接:https://github.com/ ...
- 论文浅尝 - ICLR2020 | 知识图谱中数值规则的可微学习
论文笔记整理:许泽众,浙江大学博士研究生.研究方向:知识图谱,规则挖掘等. 论文链接:https://openreview.net/pdf?id=rJleKgrKwS 本文解决的是规则的学习问题,学习 ...
- 论文浅尝 - ICLR2020 | You Can Teach an Old Dog New Tricks!关于训练知识图谱嵌入
论文笔记整理:谭亦鸣,东南大学博士生. 来源:ICLR2020 链接:https://openreview.net/pdf?id=BkxSmlBFvr KG embedding(KGE)模型的目标是学 ...
- 论文浅尝 - ICLR2020 | Pretrained Encyclopedia: 弱监督知识预训练语言模型
论文笔记整理:陈想,浙江大学博士,研究方向为自然语言处理,知识图谱. Wenhan Xiong, Jingfei Du, William Yang Wang, Veselin Stoyanov.Pre ...
- 论文浅尝 - ICLR2020 | 用于半监督分类的图形推理学习
论文笔记整理:周虹廷,浙江大学研究生.研究方向:知识图谱,图表示学习等. 论文链接:https://arxiv.org/pdf/2001.06137.pdf 本文是发表在ICLR2020上针对图数据做 ...
- 论文浅尝 - ICLR2020 | Abductive Commonsense Reasoning
论文笔记整理:毕祯,浙江大学硕士,研究方向:知识图谱.自然语言处理. 链接:https://arxiv.org/pdf/1908.05739.pdf 动机 尽管长期以来人们一直认为归因是人们在自然 ...
- 论文浅尝 - ICLR2020 | 知道什么、如何以及为什么:基于方面的情感分析的近乎完整的解决方案...
论文笔记整理:余海阳,浙江大学硕士,研究方向为知识图谱.自然语言处理. 链接:https://arxiv.org/abs/1911.01616 动机 基于目标的情感分析或基于方面的情感分析(ABSA) ...
- 论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
论文笔记整理:吴锐,东南大学计算机学院硕士. 来源:ICLR 2020 链接:https://arxiv.org/pdf/1911.03082.pdf 动机 目前针对于GCN的研究大多数都关注在学习无 ...
- 论文浅尝 | 常识问答中的忠诚知识图解释
笔记整理:邹铭辉,天津大学硕士,研究方向为知识图谱 链接:https://aclanthology.org/2022.emnlp-main.743 动机 知识图谱通常被用作常识问答的信息来源,同时也可 ...
最新文章
- datatables php数据,html5 - datatables 加载不出来数据。
- cas无法使用_一文彻底搞懂CAS实现原理
- 如何在mysql查找效率慢的SQL语句
- html css integrity,HTML5 script 标签的 crossorigin 和integrity属性的作用
- [老老实实学WCF] 第八篇 实例化
- 无需复杂插件即可从Eclipse启动和调试Tomcat
- idea新建类包图标_IntelliJ IDEA 常见文件类型的图标介绍
- linux网络配置、ssh、scp及命令优先级作业
- jQuery-星级评价
- lc滤波器是利用电感的感抗_“电感”的作用与使用方法
- 道路-水系河流-铁路-人口等栅格数据获取途径
- ex7.Caption属性的运用
- 水平居中和transform: translateY(-50%) 实现元素垂直居中效果
- 我来回答人生百问^_^老姚
- 西瓜微数独家工具! 超全微博粉丝分析!!!
- solidwork 侵权 证据_“SEI WOO SW及图”商标注册案例分析
- 用HTML里面的表格制作可以下拉的导航栏,excel表格中下拉菜单制作有什么方法
- ic集成电路专业通信计算机咋选,2021年美国留学研究生EE专业详解,选校选专业必备!...
- iPhone5S等A7设备 任意版本降级iOS10.3.3教程(方法一)
- 邯郸学院计算机怎样百度,邯郸学院怎么样?为你深度解读邯郸学院。