论文浅尝 - ACL2020 | 通过集成知识转换进行多语言知识图谱补全

笔记整理 | 谭亦鸣，东南大学博士生

概述

预测图谱中缺失的事实(fact)是知识图谱构建与推理中的一个重要任务，近年来也被许多KG embedding研究的关注对象。虽然目前的KG embedding方法主要学习和预测的是单个图谱中的事实，但是考虑到KG之间不同规模，不同质量和覆盖面的差异，一个更加合理的解决方案是将其应用于多语言知识上。由于知识在不同KG之间的传递往往收到描述不一致和对齐信息缺失的问题，因此（多语言知识图谱上的补全）这是一个具有挑战性的任务。本文提出了KEnS，一个新的框架，可以用于embedding学习以及在多个特定语言KG上集成知识并相互转换。KEnS将所有的KG embed进一个共享空间，通过self-learning捕获关联实体，之后执行集成推理从而将多语言KG embedding上的预测结果联合起来。作者探究了多种联合的模式，在五个真实多语言KG上的实验表明，通过有效识别和利用补充的知识，KEnS在补全任务上进一步提升了SOTA方法的性能。

方法

图1描述了KEnS的集成推理过程，该模型首先联合多语言KG embedding模型的预测结果，然后从那些结果中找出可能性最大的答案，从而提升图谱补全的性能。KEnS包括两个主要过程：1. Embedding学习；2. 集成推理。前者将每个KG的实体和关系编码进一个共享的embedding空间（类似于对齐模型的做法），这使得模型支持跨不同KG的查询。集成推理过程联合来自不同KG的预测结果，并且为了进一步提高每个KG上预测的可靠性，作者引入了一种增强方法来学习知识模型的实体特定权重。

下面分别对KG embedding及集成推理的细节进行说明：

在embedding方面，包含知识模型与对齐模型两个部分，其中知识模型的学习目标可以通过公式1表示：

其中[·]+=max(·, 0)，f是一个三元组打分函数，越高的得分表明该三元组描述的事实越可靠，是一个超参数，则表示通过随机替换生成的的负例，在f函数方面，作者考虑了TransE以及RotatE两种方式：

在对齐模型方面，其学习目标如公式4（通过训练使对齐实体之间的向量距离尽可能小）：

两者整合的目标函数为：

集成推理部分，首先KEnS通过对齐模型预测多语言图谱之间的实体对齐，基于对齐实体，将query转换到其他KG上，获取结果之后再通过对齐转换回初始KG，接着对于获取的候选结果，利用公式6对其进行加权：

其中，e表示目标KG上的一个实体，wi(e)表示一个实体特定模型权重，当e在KGi的embedding模型fi上排在Top-K, 则Ni(e)为1，否则Ni(e)为0。这里在w的计算上，作者构建了三种变体，其一是利用boosting方法对每个实体学习特定权重，其二是对所有实体和embedding模型修正权重为1，其三则是使用embedding模型f在验证集上的mean reciprocal rank（MRR）作为权重。

实验

数据方面，由于目前还没有一个面向多语言补全的数据集，因此他们收集了一个涵盖英语，法语，西班牙语，日语以及希腊语等语言的DBpedia子集，并命名为DBP-5L，其上的预测结果如标2所示：

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 网站。

论文浅尝 - ACL2020 | 通过集成知识转换进行多语言知识图谱补全相关推荐

论文浅尝 | PairRE: 通过成对的关系向量实现知识图谱嵌入
笔记整理:黎洲波,浙江大学硕士,研究方向为自然语言处理.知识图谱. 研究背景知识图谱因其在问答.语义解析和命名实体消歧等任务取得了良好的效果而受到广泛关注,而大部分知识图谱都存在不全和缺失实体链接的 ...
论文浅尝 - ACL2020 | IntKB: 一种交互式知识图谱补全框架
笔记整理 | 谭亦鸣,东南大学博士来源: ACL 2020 链接:https://www.aclweb.org/anthology/2020.coling-main.490.pdf 资源:http ...
论文浅尝 - ACL2020 | 利用常识知识图对会话流进行显式建模
笔记整理 | 韩振峰,天津大学硕士链接:https://arxiv.org/pdf/1911.02707.pdf 动机人类对话自然地围绕相关概念发展,并分散到多跳概念.本文提出了一种新的会话生成模 ...
论文浅尝 - ACL2020 | 用于链接预测的开放知识图谱嵌入
本文转载自公众号:PaperWeekly. 作者:舒意恒,南京大学硕士,研究方向:知识图谱. 当前大量的知识图谱都是通过文本直接构建的.由于当前的知识图谱构建方法的局限性,其中难免包含对同一实体或关系 ...
论文浅尝 - ACL2020 | 用于关系三元组抽取的级联二进制标记框架
论文笔记整理:王中昊,天津大学. 来源:ACL2020 链接:https://arxiv.org/pdf/1909.03227.pdf 摘要从非结构化文本中提取关系三元组是构建大规模知识图的关键.然 ...
论文浅尝 - AAAI2020 | 多轮对话系统中的历史自适应知识融合机制
论文笔记整理:潘锐,天津大学硕士. 链接:https://www.aaai.org/ojs/index.php/AAAI/article/view/6425 来源:AAAI 2020 论文简介 ...
论文浅尝 - IJCAI | Knowledge is NOT always you need: 外部知识注入预训练模型的利与弊...
转载公众号 | 浙大KG 论文题目:Drop Redundant, Shrink Irrelevant: Selective Knowledge Injection for Language Mode ...
论文浅尝 - ACL2020 | 用于多媒体事件提取的跨媒体结构化公共空间
笔记整理 | 王琰,东南大学来源:ACL 2020 链接:https://arxiv.org/pdf/2005.02472.pdf 概述本论文引入一项新任务:多媒体事件提取(M²E²),该任务旨在 ...
论文浅尝 - ACL2020 | Segmented Embedding of Knowledge Graphs
来源:ACL2020 链接:https://arxiv.org/pdf/2005.00856.pdf 摘要知识图谱的嵌入愈发变成AI的热点之一,对许多下游任务至关重要(如个性化推荐.问答等) 同时, ...

论文浅尝 - ACL2020 | 通过集成知识转换进行多语言知识图谱补全

论文浅尝 - ACL2020 | 通过集成知识转换进行多语言知识图谱补全相关推荐

最新文章

热门文章