EMNLP 2020 | 基于超边融合的文本增强知识图谱开放域问答
©PaperWeekly 原创 · 作者|舒意恒
学校|南京大学硕士生
研究方向|知识图谱
论文标题:
Open Domain Question Answering based on Text Enhanced Knowledge Graph with Hyperedge Infusion
论文链接:
https://www.aclweb.org/anthology/2020.findings-emnlp.133
摘要
知识库的不完整性是限制知识库问答系统表现的关键因素。在知识库外部,文本拥有比知识库更丰富的信息,可用于弥补知识库的不完整性,但同时文本对于计算机更难理解。
该文提出一种利用文本来增强知识库的新的 QA 方法,模型通过文本中蕴含的语义信息来丰富实体表示,并利用图卷积网络来更新实体状态。
另外,为了探索文本的潜在结构信息,作者将文本视为连接实体的超边,来补充知识库中不完整的关系。超图卷积网络被用于超图形式的文本上的推理。在 WebQuestionSP 基准测试上的实验证明了该模型在不同 KB 上的有效性。
介绍
开放域问答是尝试回答给定自然语言的事实型问题的任务。根据利用的信息源,QA 系统可以分为基于知识的(KBQA)和基于文本的(TBQA)。KBQA 通过结构化的知识库获取答案,易于查询和推理,但是受限于知识库中三元组的不完整性。
TBQA 的信息源是普通文本,包含丰富的语义和潜在的结构信息。但是,对于机器来讲是难以理解的。这种互补的性质启发研究者融合这两种信息,增强不完整的知识库,并进一步提升问答系统的表现。
作者认为当前融合知识库和文本的工作,即使取得了一定表现,文本信息仍然没有被充分利用,特别是文本中实体间的关系信息。图 1 展示了当 KB 不完整时回答问题的一个例子。通过利用文本的结构信息,该问题可以被充分回答。
该文主要介绍了一个新颖的 QA 模型,它基于文本增强的知识图谱,通过文本的语义信息来丰富实体表示,并通过文本中的结构信息补充知识库中的关系。具体来说,模型首先结合文本信息,编码知识库中的实体,并应用图卷积网络在 KB 上进行推理。
注意,一个文档通常包含多个实体,作者利用文本中连接实体的超边,将非结构化的文本转换为结构化的超图,并使用超图卷积神经网络来更新实体状态。最终,模型预测答案。
模型
2.1 任务定义
作者遵循 Sun 等人 [1] 的设定,为每个问题构建一个子图。给定一个问题,相关的子知识库通过 Personlized PageRank 算法抽取,相关的文本语料库通过现有的检索器 [2] 从维基百科中获取。任务要求从所有的知识库和文档实体中提取答案。模型的概览如图 2 所示。
即如何查找知识库的子图,以及从维基百科中检索相关文档,并非本文的重点。
2.2 输入编码器
输入编码器包含对查询、文本和 KB 的编码。
查询和文本编码器:双向 LSTM 网络被用于分别编码查询和文档,并获取隐藏状态。然后,通过注意力机制计算查询和文档的表示。
KB 编码器:每个实体通过预训练的知识图谱嵌入
进行初始化。关系通过语义向量和 KG 嵌入 初始化。在具体实现中,作者使用的是 TransE 嵌入 [3]。
2.3 文本增强的知识图谱上的推理
该组件利用文本信息,通过丰富实体表示和添加超边来改进不完整的知识库,并将 GCN 和 HGCN 用于推理。
用于实体的 GCN:为了利用包含在文本中的丰富的语义知识,作者使用一个二元矩阵,表示文档中的实体片段,并将信息从文档传递给实体,以形成感知文本的实体表示
,然后拼接 获得初始结点表示 。
然后,模型通过聚合实体特征来学习实体表示。
超图文本的 HGCN:该模型将纯文本视为连接文本间实体的超边,以补充 KB 中缺乏的关系。HGCN 被用于对超图形式的文本进行编码,另外,两步注意力用于捕获不同实体和文档的重要性。在这一层中,模型首先将实体特征转移到相连的超边上,形成文本表示:
然后,模型聚合文档的信息,更新相连的实体状态。
2.4 答案预测
在
GCN 层和 HGCN 层后,模型最终预测每个实体成为答案的概率。
实验
数据集
作者在 WebQuestionsSP [4] 上进行实验,它是一个多答案 QA 数据集,包含 4737 个问题。数据集的基本统计信息如表 1 所示。
实验结果
实验采用的指标是 Hits@1 和 F1,分别代表模型预测的最高答案的准确性和预测所有答案的能力。如表 2 所示,该模型在仅 KB 设置中的表现具有一定竞争力,在其他两个设置中达到了最佳效果。这表明将文档视为超边的有效性,其增强策略可以通过引入文本中隐含的语义和结构信息来有效地增强不完整的 KB。
结论
该文提出了一种旨在通过文本信息增强不完整知识库的 QA 方法,充分挖掘了文本中的语义信息和潜在结构信息,特别是将文本作为超边来补充 KB 中不完整的关系。
该模型首先应用 GCN 对实体丰富的 KB 进行编码,然后采用 HGCN 对超图形式的文本进一步推理,并预测最终的答案。在 WebQuestionsSP 基准上的实验结果证明了该模型和每个组件的有效性。
参考文献
[1] Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Kathryn Mazaitis, Ruslan Salakhutdinov, and William W. Cohen. 2018. Open domain question answering using early fusion of knowledge bases and text.
[2] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. 2017. Reading wikipedia to answer open domain questions.
[3] Antoine Bordes, Nicolas Usunier, Alberto Garcıa- Duran, Jason Weston, and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data.
[4] Wen-tau Yih, Matthew Richardson, Christopher Meek, Ming-Wei Chang, and Jina Suh. 2016. The value of semantic parse labeling for knowledge base question answering.
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
EMNLP 2020 | 基于超边融合的文本增强知识图谱开放域问答相关推荐
- 【论文阅读】开放域问答论文总结,文本召回与问答的另一种思路
[论文总结]开放域问答,纯文本召回与精排的另一种思路 前言 SCIVER: Verifying Scientific Claims with Evidence 任务介绍 数据样例 开放域问答 Read ...
- 强烈推荐十大NLP主流经典项目:预训练BERT、知识图谱、智能问答、机器翻译、文本自动生成等...
自然语言处理技术近几年发展非常快,像BERT.GPT-3.图神经网络.知识图谱等技术被大量应用于项目实践中. 今年大厂的NLP面试中对项目方面的考察深度也随之提升了很多,经常会被面试官揪着细节一步一步 ...
- 深度融合 | 当推荐系统遇见知识图谱(三)
NewBeeNLP原创出品 公众号专栏作者@上杉翔二 悠闲会 · 信息检索 本篇文章继续整理『推荐系统+知识图谱』这个lineup的后续,主要是2020年SIGIR,CIKM,RecSys的相关文章. ...
- EMNLP 2020 | 基于Wasserstein距离的正则化序列表示
©PaperWeekly 原创 · 作者|金金 单位|阿里巴巴研究实习生 研究方向|推荐系统 论文标题: Wasserstein Distance Regularized Sequence Repre ...
- ACL-BioNLP 2020 | 耶鲁大学实践成果:生物医药知识图谱嵌入模型基准测试
今天给大家介绍的是耶鲁大学医学信息学中心主任Brandt教授实验室和爱丁堡大学的博士生联合发表在ACL-BioNLP 2020发表的文章"Benchmark and Best Practic ...
- 阿里达摩院刷新纪录,开放域问答成绩比肩人类水平,超微软、Facebook
出品 | AI科技大本营(ID:rgznai100) 近日,由阿里巴巴达摩院语言技术实验室研发的 Multi-Doc Enriched BERT 模型在微软的 MS MARCO 数 据评测任务,Pas ...
- AAAI 2020 开源论文 | 可建模语义分层的知识图谱补全方法
©PaperWeekly · 作者|蔡健宇 学校|中国科学技术大学 研究方向|知识图谱 近些年,知识图谱(Knowledge Graph)在自然语言处理.问答系统.推荐系统等诸多领域取得了广泛且成功的 ...
- 2020年中国面向人工智能“新基建”的知识图谱行业白皮书
全文共计1379字,预计阅读时间8分钟 来源 | 艾瑞咨询(经授权转载) 编辑 | 蒲蒲 日前,认知智能国家重点实验室&艾瑞咨询联合发布<2020年面向人工智能"新基建&quo ...
- 基于上下文化图注意力网络的知识图谱的条目推荐
Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph 摘要: 近年来,图神经网络(GN ...
最新文章
- IO多路复用的三种机制Select,Poll,Epoll
- 是什么摧毁了程序员的工作效率
- patchGAN再次理解【相比于原始D全图输出true/false,patchGAN可以关注更多的区域】
- TPAMI 2021 华为诺亚悉尼大学陶大程团队提出多功能卷积,助力轻量级网络
- 【英语学习】【加州教材】【G1】【科学】Science目录及术语表
- ajax:html5上传文件,上传之前可以实现本地预览
- mysql怎么分组计算逾期率_转行数据分析第三篇:mysql查询入门练习题
- 引领全球增长的60大技术:机会、增长、投资、洞察
- Using SQLite database in your Windows 10 apps
- android中的广播机制(动态注册)
- 将表中的数据生成SQL脚本,在查询分析器中执行这些脚本后自动将数据导入到SQL Server中...
- 10. Zend_Loader
- 【线性代数】1.6矩阵的特征值和特征向量
- 一文详解GATK-HaplotypeCaller 变异检测原理和实战
- Git _ 报错信息
- Java 导入Excel数据
- 第八期杭州NodeParty x Rokid技术分享会回顾
- raise TypeError(f‘Object of type {o.__class__.__name__} ‘ TypeError: Object of type bytes is not
- MATLAB暗原色先验去雾算法的一些认识
- js台阶算法问题(上台阶模拟器)
热门文章
- 俄罗斯机器人雄鹿_在雄鹿无球可打,在火箭重获新生!哈登,你又让一人打出身价...
- JAVASCRIPT校验大全
- 02python 中的线程
- 20165230 2017-2018-2 《Java程序设计》第9周学习总结
- PCL中有哪些可用的PointT类型(4)
- 【BZOJ3769】spoj 8549 BST again DP(记忆化搜索?)
- 命名空间“Microsoft.AspNet”中不存在类型或命名空间名“Mvc”
- 【使用jdbc和servlet实现阅览文章访问次数】
- Setting composer minimum stability for your application
- WordPress的body_class()函数详解