论文浅尝 | DRUM：一种端到端的可微的知识图谱上的规则学习方法

论文笔记整理：张文，浙江大学在读博士，研究方向为知识图谱的表示学习，推理和可解释。

现有的多数链接预测方法都不能处理新的实体，并且多为黑盒方法，使得其预测结果无法解释。本文提出了一种新的端到端的可微的知识图谱上的规则学习方法DRUM来解决这两个问题。

本文学习的规则形式如下：

其中B表示规则的body，H表示规则的head，DRUM的目标是学习规则对应的置信度 α，一般可将规则推理的过程转换为向量之间的计算如下：

其中矩阵A_Bk表示关系Bk的邻接矩阵，是当前规则的置信度，由于此式的参数量较大且规则的结构不可提前知晓，可将其改写为：

为了使得模型拥有能力学习变长的规则，可以引入一个特殊的关系B0其邻接矩阵为单位阵I。同时作者证明了在这种规则计算方法下不可避免会学习到置信度较高但错误的规则，为了解决这个问题，DRUM中引入了置信度张量(confidence value tensor), 并将计算改写为：

作者证明了上面的表达式有足够的能力学习任意的规则。A_jik不是直接学习的参数而是通过双向LSTM加全连接层生成的，如下：

实验部分作者做了三类实验，包括四个数据集上的统计关系学习，知识图谱补全包括inductive链接预测，规则的质量以及可解释评估。实验结果如下：

从实验结果中可以看出DRUM相较于可比较的方法NeuralLP在几个任务上都有明显提升，并且能产生更准确的规则。

欢迎有兴趣的同学阅读原文。

https://papers.nips.cc/paper/9669-drum-end-to-end-differentiable-rule-mining-on-knowledge-graphs.pdf

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | DRUM：一种端到端的可微的知识图谱上的规则学习方法相关推荐

论文浅尝 - WSDM20 | 基于弱监督及逐步推理的多关系知识图谱问答
论文笔记整理:刘晓臻,东南大学计算机科学与工程学院本科生. 来源:WSDM '20 链接:https://dl.acm.org/doi/abs/10.1145/3336191.3371812 动机知 ...
论文浅尝 - ACL2020 | 一种用于关系三元组提取的级联二进制标记框架
论文笔记整理:窦春柳,天津大学硕士. 链接:https://arxiv.org/pdf/1909.03227.pdf 动机首先作者提出了问题,传统的关系抽取是不能很好的解决三元组重叠,如下图.从图中 ...
论文浅尝 - ECIR2021 | 两种实体对齐方法的严格评估
笔记整理 | 谭亦鸣,东南大学博士生来源: ECIR 2021 在这篇工作中,作者对两种SOTA实体对齐方法做了广泛的研究:首先仔细分析了现有benchmark的过程,并论证了其中存在一些缺陷,使得 ...
论文浅尝 - COLING2020 | 一种用于跨语言实体对齐的上下文对齐强化跨图谱注意力网络...
笔记整理 | 谭亦鸣,东南大学博士生来源:COLING 2020 链接:https://www.aclweb.org/anthology/2020.coling-main.520.pdf 本文发现, ...
论文浅尝 | NumNet: 一种带有数学推理的机器阅读理解模型
论文笔记整理:吴林娟. 来源:EMNLP2019 论文链接:https://arxiv.org/pdf/1910.06701.pdf 开放源码:https://github.com/ranqiu92/ ...
论文浅尝 | TEQUILA: 一种面向时间信息的知识问答方法
来源:CIKM'18 链接:http://delivery.acm.org/10.1145/3270000/3269247/p1807-jia.pdf?ip=223.3.116.39&id=3 ...
论文浅尝 | Multilingual LAMA: 探索多语言预训练语言模型中的知识
笔记整理:谭亦鸣,东南大学博士生来源:EACL'21 链接:https://aclanthology.org/2021.eacl-main.284.pdf 概述本文关注将语言模型(LM)视作一个知 ...
论文浅尝 | Doc2EDAG：一种针对中文金融事件抽取的端到端文档级框架
论文笔记整理:叶宏彬,浙江大学博士生,研究方向为知识图谱.自然语言处理. 链接:https://arxiv.org/pdf/1904.07535.pdf 背景大多数现有的事件提取(EE)方法仅提取句 ...
论文浅尝 | 使用预训练深度模型和迁移学习方法的端到端模糊实体匹配
论文笔记整理:高凤宁,南京大学硕士,研究方向为知识图谱.实体消解. 链接:https://doi.org/10.1145/3308558.3313578 动机目前实体匹配过程中实体之间的差异比较微妙 ...

论文浅尝 | DRUM：一种端到端的可微的知识图谱上的规则学习方法

论文浅尝 | DRUM：一种端到端的可微的知识图谱上的规则学习方法相关推荐

最新文章

热门文章