论文笔记整理:谭亦鸣,东南大学博士生,研究兴趣:知识图谱问答。


来源:Neurocomputing 372: 64-72 (2020)

链接:https://sciencedirect.xilesou.top/science/article/abs/pii/S0925231219312639

对于知识图谱问答来说,主要任务是将自然语言问题映射到具有相同意义的结构化query上。但是目前基于深度学习的方法都仅关注了问题和关系链之间的语义对应,而忽视了query的结构信息。这篇文章提出将query视作tree,从而将实体和关系的顺序信息也编码进它们的向量表示中,从而更好的划分给定问题的candidate query。

动机

目前的深度学习方法主要利用关系链匹配而非整个query匹配给定的问题,这种做法并不能有效利用query结构信息。

因此作者提出将candidate query的结构编码进它的向量表示中,从而强化它与给定问题的匹配准确性。

方法

图3是作者提出方法的整体框架,以问题“what character did natalie portman play in star wars ?”为例,整体的框架流程描述如下:

1. 约束链接 作者提出了三种约束将问题中的成分关联到知识图谱上:(i)实体,使用目前性能最好的S-MART实体链接工具完成链接。(ii)类型,在知识图谱中查询所有类型的type,当问题中出现了某种类型的查询词时,完成类型链接。(iii)数字,分为以下三种情况,单独的数字,比较性词汇+数字的组合,最值表示(最大最小最年轻等等),将对应类型的逻辑操作添加到query中。;

2. Candidate Query构建 本质上是给出几种可能对应问题的带有缺省值的子图,首先根据实体链接确定子图中的实体节点(图中的叶子节点),然后使用中间节点将它们连起来,并选择任一中间节点作为答案节点,(需要时)补充上类型约束以及数字操作之后得到Candidate Query。(有点像排列组合,作者在论文中对每个步骤做了详细说明,有需要的童鞋可以读读原文3.2节)

3. Tree-based Encoder 图4描述了本文提出的基于树的编码过程,在这个图中,与这两个实体-关系pair共同组成?x的描述,在这个方向中,所有的实体类型数字操作和关系等等信息都流向answer节点(作者称其为前向,反之则为后向),在这种形式下,词与词之间根据位置信息的不同,可以互相定义为:preceding,sibling以及following。这些结构信息使得那些节点相同(相似)的Candidate query由于位置信息的差异被区分开来。为了将这种结构加入到表示学习中,作者使用一个tree-based LSTM进行编码(对相关公式证明感兴趣的请见原文3.3节)。

4. Mixed-mode Decoder 在解码过程的目的是选出最为匹配question的candidate query,这里作者引入了两个解码模式,用以处理两种类型的query-question匹配:其一是generating mode,由一个使用QA pair训练的LSTM网络构成。其二是referring mode,一个利用在网页对KB的远程监督学习到的统计模型,用以处理QA pair不足时,引入原始Web-KB对齐用以强化query与question之间的对应。

实验

实验使用的问答数据集是WebQuestion(3778个问题用于训练,2032训练)以及WebQuestionSP(移去了WebQuestion中那些无法使用query表示的问题,3098训练,1639用于测试),问题包含单三元组的简单问题以及包含四个关系的问题还有聚合类型的问题。

评价指标为准确率,召回率以及F1:

与现有方法的实验结果横向对比如表1:

从性能上看并非最好的,但作者表示他们的主要贡献在于利用并证明了query结构信息在QA任务上的有效性。


OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

论文浅尝 | Tree-to-sequence 学习知识问答相关推荐

  1. 论文浅尝-综述 | 基于强化学习的知识图谱综述

    转载公众号 | 人工智能前沿讲习 论文来源:https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.20211264 摘要:知识图谱是一种用图结构建模事物及事物 ...

  2. 论文浅尝 - COLING2020 | 桥接文本和知识的多原型嵌入在少样本关系三元组抽取中的研究...

    本文转载自公众号:浙大KG. 论文题目:Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relation ...

  3. 论文浅尝 | 最新10篇《知识图谱》论文推荐(ICML, CVPR, ACL, KDD, IJCAI 2019)

    本文转载自公众号:专知. [导读]知识图谱一直是研究热点,研究者近年来广泛关注知识图谱嵌入(Knowledge Graph Embedding,简称KGE)方法,在保留语义的同时,将知识图谱中的实体和 ...

  4. 论文浅尝 | 端到端神经视觉问答之上的显式推理

    链接:http://www.public.asu.edu/~cbaral/papers/2018-aaai-psl.pdf 概述 视觉问答(Visual Question Answering)现有两大 ...

  5. 论文浅尝 | 一种用于多关系问答的可解释推理网络

    论文笔记整理:谭亦鸣,东南大学博士生,研究方向为跨语言知识图谱问答. 来源:COLING 2018 链接:https://www.aclweb.org/anthology/C18-1171 问题背景与 ...

  6. 论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理

    论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ...

  7. 论文浅尝 | 将字面含义嵌入知识图谱表示学习

    论文笔记整理:吴桐桐,东南大学博士生,研究方向为知识图谱,自然语言处理. 链接:https://arxiv.org/pdf/1802.00934.pdf 本文主要关注知识图谱中的链接预测问题,在既有的 ...

  8. 论文浅尝|简单高效的知识图谱表示学习负样本采样方法

    笔记整理 | 陈名杨,浙江大学在读博士生,主要研究方向为知识图谱表示学习 Introduction 研究知识图谱表示学习(KnowledgeGraph Embedding)可以解决当前很多应用的基本问 ...

  9. 论文浅尝 - WWW2020 | 通过对抗学习从用户—项目交互数据中挖掘隐含的实体偏好来用于知识图谱补全任务...

    笔记整理 | 陈湘楠,浙江大学在读硕士. 现有的知识图谱补全方法都在试图设计全新的学习算法,来使用已知的事实信息去推理知识图谱中的潜在语义.但随着知识图谱的广泛使用,知识图谱中的许多实体对应着应用程序 ...

  10. 论文浅尝 | 六篇2020年知识图谱预训练论文综述

    转载公众号 | AI机器学习与知识图谱 本文介绍六篇有关知识图谱预训练的优秀论文,大致上可分为两类,生成学习模型和对比学习模型.其中GPT-GNN模型是生成学习模型,模型灵感来源于自然语言处理中的GP ...

最新文章

  1. MyEclipse项目中的包层次视图
  2. 用apxs来扩增apache的模块
  3. C语言 递归求阶乘和
  4. linux下/etc目录详解
  5. C++string容器-字符存取
  6. “约见”面试官系列之常见面试题之第八十四篇之手写promise(建议收藏)
  7. storm集群部署和配置过程详解
  8. SpringBoot是如何完成自动配置的
  9. node 连接mysql 中间件_如何在node.js里连接和使用mysql
  10. win10怎么进入修复计算机,Win10怎么进入安全模式以及Win10:使用Windows恢复环境轻松修复...
  11. 电脑上最好的5个azw3阅读器
  12. NeoKylin(linux)操作系统基本操作(自用)
  13. php打印直角三角形,中考几何丨通过构造直角三角形斜边上的中线结合中位线解决问题!...
  14. 360无线网卡驱动linux,ubuntu安装360随身wifi驱动
  15. secureCRT显示中文
  16. go 合并excel
  17. 基于stm32的两轮自平衡小车3(硬件篇)
  18. vue中小写数字转换为大写数字
  19. python接口自动化搭配Gitlab 和jenkins持续集成
  20. 一心多用多线程-Thread的interrupt机制

热门文章

  1. Visual studio 2012 ultimate 安装遇到 Prerequisites , 错误的函数 incorrect function
  2. Oracl数据库中大数据的备份-2
  3. Atmospheric Scattering
  4. 如何利用openssl来计算md4, md5, sha1, sha256, sha384, sha512等常用哈希值?
  5. 你们班上的同学现在都怎么样了?
  6. 在实时操作系统里随便写代码都能硬实时吗?
  7. 如何解决文件不存在_传奇微端配置Pak密码文件不存在怎么解决?传奇分享汇
  8. python中的封装调用_Python基础之封装
  9. vue-cli4.x 中 配置允许跨域请求
  10. Chapter3-1_Speech Separation(Deep Clustering, PIT)