论文浅尝 | 基于多原型mention向量的文本-实体联合学习

链接：http://anthology.aclweb.org/P/P17/P17-1149.pdf

概述

在知识库和文本的联合表示中，歧义是个困扰的难题。同一个 mention 可能在不同的语境下表述不同实体，同一个实体又有多种 mention 表示，如下图。本文提出了一个新的表示方法，可以在一个联合空间学习 mention 和实体的表示，同时解决歧义问题。

模型

作者提出了一个 mention sense 的概念，每一个 mention 对应一个 mention_sense，以表示当前的mention的真正含义。可以看出，mention_sense 是和实体一一对应的。作者从 wikipedia 的超链接里提取出 <m_l, e_j> 的组合，即mention超链接到某一实体。对于每一个这种组合，作者把它映射到一个 mention_sense 上：

这样同一实体的 mention 会共享 mention_sense，而同一 mention 对应不同实体也会映射到不同的 mention_sense。作者把文本中的 mention 用 mention_sense 代替，来进行联合训练。

像大图的最右侧部分描述的一样，mention_sense 可以看成是文本空间和实体空间的一个链接。联合训练的似然函数由三部分组成，均采用 CBOW/skip-gram 的语言模型来得到向量：

1、实体空间

这个方法让共享邻居实体的实体词尽可能相似。

2、mention空间

这个方法使得指向同一实体，且共享上下文的mention_sense尽可能相似。

3、文本空间

共现的词之间应尽可能相似，类似于 word2vec，只不过用 mention_sense 代替 mention。

实体链接

用上述学出的向量可以进行实体链接的工作。对于每一个实体，对所有 mention_sense 做如上计算，选出概率值最大的 mention_sense，再连接到对应的实体。因为一个句子可能包含多个实体，而全局优化代价过大，为了方便，作者假设实体和实体间独立，提出了 L2R（从左至右）和 S2C（从简至繁）的逐实体预测的方法。

实验

作者进行了自身对比，可以看出多实体比单一实体的效果好很多。

在实体相关预测和词语相关预测上，实体和词语联合学习的方法，也比单一学习提升了一些性能。

最后是上述实体链接的尝试：

笔记整理：王冠颖，浙江大学硕士，研究方向为关系抽取、知识图谱。

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

转载须知：转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题，请注明原标题。

点击阅读原文，进入 OpenKG 博客。

论文浅尝 | 基于多原型mention向量的文本-实体联合学习相关推荐

论文浅尝 | 基于属性嵌入的知识图谱实体对齐
论文笔记整理:王中昊,天津大学硕士,方向:自然语言处理. 来源:AAAI2019 论文链接: https://doi.org/10.1609/aaai.v33i01.3301297 概述知识图谱之间 ...
论文浅尝 | 基于属性embeddings的跨图谱实体对齐
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答. 来源:AAAI 2019 链接:https://aaai.org/ojs/index.php/AAAI/article/view/3798 ...
###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
论文浅尝 | 通过多原型实体指称向量关联文本和实体
Cao Y,Huang L, Ji H, et al. Bridge Text and Knowledge by Learning Multi-Prototype Entity Mention Emb ...
论文浅尝 | 基于知识库的自然语言理解 01#
本文转载自公众号:知识工场. 罗康琦,上海交通大学计算机系2019届博士,研究方向为自然语义理解和知识图谱.2012年获得华中科技大学软件工程学士学位,现就职于京东数据科学实验室(Data Scien ...
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
链接:http://hanj.cs.illinois.edu/pdf/www17_xren.pdf GitHub项目地址:https://github.com/INK-USC/DS-RelationE ...
论文浅尝 | 基于文本关联的知识图谱的无监督嵌入增强
来源:IJCAI2019 论文链接: https://www.ijcai.org/proceedings/2019/0725.pdf 概述知识图谱嵌入是从多关系数据中提取数据的工具,最近的嵌入模型对 ...
论文浅尝 | 基于知识库的自然语言理解 02#
本文转载自公众号:知识工场. 罗康琦,上海交通大学计算机系2019届博士,研究方向为自然语义理解和知识图谱.2012年获得华中科技大学软件工程学士学位,现就职于京东数据科学实验室(Data Scien ...
论文浅尝 | 基于事理图谱的脚本事件预测
论文笔记整理:邱圣广,南京大学硕士,研究方向为自然语言处理. 链接:https://www.ijcai.org/proceedings/2018/0584.pdf 绪论 1. 脚本事件预测脚本事件 ...

论文浅尝 | 基于多原型mention向量的文本-实体联合学习

论文浅尝 | 基于多原型mention向量的文本-实体联合学习相关推荐

最新文章

热门文章