论文浅尝 | KG Embedding with Iterative Guidance from Soft Rules
论文链接:https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/16369/16011
发表会议:AAAI 2018
摘要
知识图谱表示学习旨在将实体和关系嵌入到向量空间,同时保留知识图谱的内在结构。传统方法主要基于关系三元组学习知识图谱的嵌入表示。本文认为,知识图谱中的逻辑规则对于表示学习也很有帮助,于是提出了一个新的表示学习模型RUGE (Rule-Guided Embedding)。RUGE的主要特点是,利用从知识图谱自动抽取的规则迭代地预测未标记三元组,并将其加入训练来增强表示学习。
方法介绍
RUGE框架如下图所示。与传统方法不同,该模型除了利用labeled三元组,还同时引入了unlabeled三元组和逻辑规则。RUGE利用自动抽取的规则,生成带有置信度的unlabeled三元组并加入训练。整个过程是迭代的,基于嵌入表示为unlabeled三元组计算soft label,然后利用soft label进行表示学习。
1. 学习资源
a)soft规则:带有置信度的FOL规则。对于规则格式,举个例子:∀x, y :(x, rs, y) ⇒ (x, rt, y),表明具有关系 rs 的两个实体也具有关系 rt。
b)labeled 三元组:正例三元组标记为1,反例三元组标记为-1。传统方法主要利用这些 labeled 三元组进行表示学习。
c)unlabeled 三元组:本文中的 unlabeled 三元组特指利用规则和已知三元组可以推导出的三元组。
其中,soft规则可以利用开源系统如AMIE+自动地从知识图谱中抽取。将soft规则中的变量替换为具体的实体,我们可以获得规则groundings。比如,基于规则∀x, y :(x,BornInCountry, y) ⇒ (x, Nationality, y),我们可以得到规则grounding:(EmmanuelMacron, BornInCountry, France) ⇒ (EmmanuelMacron,Nationality, France)。本文只考虑那些前件是labeled三元组的规则groundings,这些groundings的后件三元组,就是unlabeled三元组。
2. 三元组和规则建模
对于三元组建模,本文采用现有模型 ComplEx [2],三元组的真值可以直接计算得到。对于规则建模,也就是建模规则 groundings 的真值,本文采用 T-norm fuzzy logics [3],规则的真值等于其三元组真值的逻辑组合。用 表示的真值,那么。这个地方非常巧妙,通过这个公式,规则和三元组结合在了一起,并且我们可以基于规则真值来计算 unlabeled 三元组的真值。
3. 弱标记预测
至此,一方面,我们可以基于嵌入表示来计算 labeled 和 unlabeled 三元组的“真值”,用表示;另一方面,也可以基于规则 groundings 的真值来计算三元组的实际真值,即本文所指的 soft label,用表示。本文希望,这两个真值应该是接近的,且应当使得规则 groundings 为真。于是文本定义如下优化目标:
其中,第一个方框是两个真值的均方误差,是最小化的目标。第二个方框是一个约束条件,希望 groundings 的真值为1,置信度是。
4. 表示学习矫正
基于上一步,我们得到了unlabeled三元组的soft label。结合labeled三元组,本使用logistics loss进行统一优化,如下:
实验结果
本文的主要实验任务是传统的关系预测。数据集采用了FB15K和YAGO37. 实验结果如下表所示。我们可以看见,RUGE相比对比方法,取得了较好的结果。
参考
[1] Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo: Knowledge Graph Embedding With Iterative Guidance From Soft Rules. AAAI 2018: 4816-4823
[2] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier,Guillaume Bouchard: Complex Embeddings for Simple Link Prediction. ICML 2016:2071-2080
[3] H´ajek, P. The metamathematics offuzzy logic. 1998
论文笔记整理:孙泽群,南京大学博士生,研究方向为知识图谱、知识融合。
OpenKG.CN
中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | KG Embedding with Iterative Guidance from Soft Rules相关推荐
- 论文浅尝 | 基于迭代的概率规则约束的知识图谱分布式表示
Citation:Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo.Knowledge Graph Embeddingwith Iterative G ...
- 论文浅尝 | 图神经网络综述:方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...
- 论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
- 论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读 代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
- 论文浅尝 | 利用 KG Embedding 进行问题回答
论文笔记整理:吴杨,浙江大学计算机学院,知识图谱.NLP方向. http://research.baidu.com/Public/uploads/5c1c9a58317b3.pdf 动机 本文主要针对 ...
- 论文浅尝 | 基于知识图谱 Embedding 的问答
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:WSDM 2019 链接:https://dl.acm.org/citation.cfm?doid=3289600.3290956 ...
最新文章
- log4j2使用笔记
- 正则表达式里转义字符_五分钟搞定正则表达式,如果没搞定,再加两分钟
- 手机定位和什么有关?关机后的手机还能被定位吗?
- 论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答
- js 数字序号 转 字母序号
- 总结:JavaEE完整体系架构
- HTML5有哪些表单新特性
- AJAX vs FLEX:执行,传送,解析JSON,HTML,XML,AFM格式效率比较.
- paip.应用程序远程WEB 接口的设计
- java excel 转txt_用Java实现excel转txt
- 【设计】松本行弘的程序世界
- php 模拟蜘蛛,PHP实现使用CURL模拟百度蜘蛛进行采集
- 【软件后门】qq足迹 - qq应用授权管理
- 使用tushare获取美股月收盘价
- 2020-11-21 芯片测试golang实现
- redis的发布订阅缺陷
- 【数据结构】-顺序栈(初始化栈顶指针为-1)
- 元芳, 我在 Win10 上用 Docker 肝了个 LNMP , 康康?
- Oracle索引梳理系列(七)- Oracle唯一索引、普通索引及约束的关系
- LocalDate 年月日api
热门文章
- 想要学好C++有哪些技巧?
- Linux select/poll机制原理分析
- MIPI屏数据发送命令解析
- STM32F7xx —— ADC
- 图像多分类——卷积神经网络
- 大华管理平台用户名_智能财务引领商业与管理变革——浙大EMBA首席财务官研习社走进大华股份...
- ES6(一)——字面量的增强、解构、let/const、块级作用域、暂时性死区
- React中的组件通信——父传子、子传父、Context
- 读写Excel 用 xlsxwriter,openpyxl 更灵活
- LeetCode 1980. 找出不同的二进制字符串