论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示
Citation:Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo.Knowledge Graph Embeddingwith Iterative Guidance from Soft Rules. AAAI 2018.
动机
知识图谱的分布式表示旨在将知识图谱中的实体和关系表示到连续的向量空间中,本文考虑的问题是如何将知识库的分布式表示和逻辑规则结合起来,并提出了一个新的表示学习方法 RUGE(Rule-Guided Embedding)。
贡献
(1)本文提出了一种新的知识图谱表示学习方法 RUGE,RUGE 在向量表示(embeddings)的学习过程中迭代地而非一次性地加入了逻辑规则的约束。
(2)本文使用的是已有算法自动挖掘的规则,RUGE 的有效性证明了算法自动挖掘的规则的有效性。
(3)本文提出的方法 RUGE 具有很好的通用型,对于不同的逻辑规则和不同置信度的规则的鲁棒性较好。
方法 RUGE
1. RUGE 方法的输入有三个部分:
1) 已标记的三原组:知识库中已有三元组
2) 未标记的三元组:知识库中不存在的三元组。在这篇论文中未标记的三元组只考虑了能够由逻辑规则推导出的三元组。
3) 概率逻辑规则:本文主要考虑了一阶谓词逻辑规则,每一个逻辑规则都标有一个成立的概率值。实验中使用的概率规则来自于规则自动挖掘系统 AMIE+。
2. 模型核心想法如下:
3. 三元组表示
本文采用了 ComplEx 作为基础的知识库分布式表示学习的模型,在ComplEx中,每一个实体和关系都被表示为一个复数向量,一个三元组 (e_i,r_k,e_j) 的得分函数设计如下:
其中 Re<x> 表示取 x 实部的值,bar{e}_j 为 e_j 的共轭向量。正确的三元组得分函数值会较高而不正确的三元组得分函数的值会较低。
4. 逻辑规则的表示
本文借鉴了模糊逻辑的核心思想,将规则的真值看作其组成部件真值的组合。例如一个已经实例化的规则 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值将由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值决定。根据(Guo et al. 2016)的工作,不同逻辑算子的真值计算如下:
由上三式可推出规则真值计算公式:
此规则计算公式是后面规则应用的一个重要依据。
5. 未标记三元组标签预测
这一步是整个方法的核心,目的在于对未标记三元组的标签进行预测,并将这些三元组添加到知识图谱中,再次进行知识图谱的分布式表示学习训练,修正向量结果。标签预测的过程主要由两个目标:
i.目标一:预测的标签值要尽可能接近其真实的真值。由于预测的三元组都是未标记的,本文将由当前表示学习的向量结果按照得分函数计算出的结果当作其真实的真值。
ii. 目标二:预测的真值要符合对应逻辑规则的约束,即通过规则公式计算出的真值要大于一定的值。其中应用的规则计算公式如下:
其中 φ(e_u, e_s,e_v) 是当前向量表示计算的结果,s(e_u, e_t,e_v) 是要预测的真值。真值预测的训练目标如下:
通过对上式对求 s(x_u) 导等于 0 可得到 s(x_u) 的计算公式:
6. 向量表示结果的修正
将预测了标签的三元组添加到知识图谱中,和已由的三元组一起进行训练,来修正向量学习,优化的损失函数目标如下:
上式前半部分是对知识图谱中真实存在的三元组的约束,后半部分为对预测了标签的三元组的约束。
以上步骤在模型训练过程中迭代进行。
实验
链接预测:
从实验结果可以看出,规则的应用提升了表示学习的结果。
论文笔记整理:张文,浙江大学博士在读,研究方向知识图谱的分布式表示与推理。
OpenKG.CN
中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示相关推荐
- 论文浅尝 | 基于正交普鲁克分析的高效知识图嵌入学习
笔记整理:朱渝珊,浙江大学在读博士,研究方向为快速知识图谱的表示学习,多模态知识图谱. 1.Motivation 知识图谱是许多NLP任务和下游应用的核心,如问答.对话代理.搜索引擎和推荐系统.知识图 ...
- 论文浅尝 | 基于图匹配神经网络的跨语言知识图对齐 (ACL 2019)
本文转载自公众号:PaperWeekly.作者:王文博,哈尔滨工程大学硕士生,研究方向为知识图谱.表示学习. 动机 在本篇文章之前,跨语言知识图谱对齐研究仅依赖于从单语知识图谱结构信息中获得的实体嵌入 ...
- 论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答
来源:ACL 2017 链接:http://aclweb.org/anthology/P17-2057 本文提出将 Universal schema 用于自然语言问答中,通过引入记忆网络,将知识库与文 ...
- 论文浅尝 | DEER:解释实体关系的描述性知识图谱
笔记整理:王润哲,东南大学硕士,研究方向为多元关系抽取 链接:https://aclanthology.org/2022.emnlp-main.448.pdf 动机 实体关系是知识图谱中不可或缺的一层 ...
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
- 论文浅尝 | 基于Freebase的问答研究
本文转载自公众号:PaperWeekly. 本期的论文笔记来自 PaperWeekly 社区用户 @britin.本文给出了一种 end-to-end 的系统来自动将 NL 问题转换成 SPARQL ...
- 论文浅尝 | 基于神经网络的实体识别和关系抽取联合学习
本文转载自公众号:PaperWeekly. 作者丨罗凌 学校丨大连理工大学博士生 研究方向丨深度学习,文本分类,实体识别 联合学习(Joint learning)一词并不是一个最近才出现的术语,在自然 ...
- 论文浅尝 | 基于置信度的知识图谱表示学习框架
本文转载自公众号:PaperWeekly. 作者丨谢若冰 单位丨腾讯微信搜索应用部 研究方向丨知识表示学习 知识图谱被广泛地用来描述世界上的实体和实体之间的关系,一般使用三元组(h,r,t)(head ...
- 论文浅尝 | 基于表示学习的大规模知识库规则挖掘
链接:www.ict.griffith.edu.au/zhe/pub/OmranWW18.pdf 动机 传统的规则挖掘算法因计算量过大等原因无法应用在大规模KG上.为了解决这个问题,本文提出了一种新的 ...
最新文章
- java并发环境安全初始化
- 多核学习在图像分类中的应用
- 字符串,枚举,数值之间的转换
- 自下而上归并排序 数组实现
- frontcon函数用不了_真香警告!用了XLOOKUP再也回不去VLOOKUP了
- linux隐藏特定进程,linux 隐藏进程
- 倒序数(信息学奥赛一本通-T1160)
- 网络生活催生新式词汇
- PDF转换为其他格式的方法
- 原生javascript开发仿微信打飞机小游戏
- SylixOS arm64 自旋锁
- linux安装gcc-4.9,centos7.2编译安装gcc-4.9.2
- 日历2021年日历表|2021年日历表打印版 Excel版
- 计算机硬盘和分区是什么关系,电脑硬盘如何分区 电脑硬盘分区注意事项【详解】...
- java左右斜杠的相互转化
- 【JS教程】移动端 Touch(触摸)事件
- 【懒人笔记】Web前端开发库
- 【Redshift渲染器渲染出图片有色差(红移渲染器)】
- vue 汉字转拼音字母
- RWS 负责任羊毛标准
热门文章
- 排序算法之简单插入法排序(Java)
- TQ210 —— 点亮LED
- mysql中%3c%3e和=_Grafana+Prometheus 监控 MySQL
- mysql order by 索引名字_MySQL如何利用索引优化ORDER BY排序语句
- revit如何根据坐标进行画线_在工程设计中如何根据工艺阀门的结构与特点来进行设计呢?...
- node : 无法将“node”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
- ssh 端口_【科普】SSH都不懂,还搞什么网络
- 天池 在线编程 木材加工(二分查找)
- LeetCode 514. 自由之路(记忆化递归 / DP)
- [Kaggle] Digit Recognizer 手写数字识别(神经网络)