问答知识图谱还缺少什么信息?
点击上方,选择星标或置顶,每天给你送干货!
来自:AI自然语言处理与知识图谱(很棒的公众号,欢迎关注撒~)
作者信息
Elesdspline
目前从事NLP与知识图谱相关工作。
问答知识图谱还缺少什么信息?
导读
这两天看到了一篇文章,和我最近的一些思考契合,分享给大家。
知识图谱的数据一般来自于结构化数据或者采用信息抽取等技术挖掘非结构化文本数据构建而来,实体之间通过关系链接,能够很好的表达结构性知识。但是我们细想一下是不是缺少了点什么?通过相关技术抽取文本中的实体并将实体通过某种关系链接,确实能够简单干练的表达文本的干货信息,去除很多文本中的噪音数据,但是上下文信息呢,能够在结构化知识中表达或者包含嘛?显然是很难的。
今天给大家分享的文章内容就是在知识图谱的基础之上融合实体之间的上下文语意信息,文章来自于 Microsoft Cognitive Services Research Group。
一、背景知识
常识推理(Commonsense Reasoning)在近些年变的越来越重要,已经逐步成为自然语言理解中一个非常重要的任务。
自18年 BERT 问世,以及后续的 BERT 相关变种,已经在自然语言理解任务中大放异彩,被多次证明非常有效,然而与结构化数据相比,文本表示在知识推理却效果有限。比如下图中的这句话,要想在预训练模型中学到这句话的内在语意,需要多个包含蒙娜丽莎和卢浮宫的文本,而在结构化知识中,两个实体之间存在 的关系,可以直接用于推理问答。所以出现了很多更聪明的预训练模型(预训练模型 + 知识图谱),比如 ERNIE、K-BERT、knowBERT、KEPLER-A等。
虽然知识图谱中具有结构化信息,能够描述实体之间的关系,但是同一个实体可能存在多个关系链接不同的实体,比如 ,存在多个实体连接,即使这样,我们或许很难识别出 是一幅画,因此,需要额外的信息来引导定义 是一幅画(如下图),并将这部分信息加入到预训练语言模型中一起学习,让模型学习到这部分的知识。
本篇文章的出发点就是在预训练模型中融合知识图谱实体的上下文信息,取名为 DEKCOR: DEscriptive Knowledge for COmmonsense Reasoning.
采用的知识图谱为 。
实体的上下文信息来自 。
预训练语言模型采用 。
二、模型结构
常识问答的目标:对于给定的问题 ,以及给定的候选答案 , , , ,从候选答案中选择正确的答案。
模型的整体结构图如下,主要包含三部分。
1、知识检索
本文采用的知识图谱为 ,对于给定的 和 ,从图谱中获取与其相关的关系三元组,这里有两种情况:
一种情况是两个实体(, )均在图谱中,且有关系直接链接,那么直接取这个三元组(, , )。
另外一种就是两个实体(, ) 没有关系直连。在图谱中找到 个包含实体 的三元组,通过相关公式计算出每个三元组的得分,最终取得分最高的三元组。
2、上下文信息
本文利用 在线词典获取实体的相关概念信息,比如 。
3、推理
获取到相关的特征信息后,将问题、候选答案、实体描述信息以及三元组信息均作为 的输入信息,格式如下图。推理的时候在模型的最终输出层利用 权重加权以及 层获取每一个问答对的相关分数。
三、效果
实验上面做的也是很充分,实验评测的数据集采用的是 ,具体数据量如下表。
训练 | 开发 | 测试 |
---|---|---|
9,741 | 1,221 | 1,140 |
实验对比将很多 top 模型作为 baseline,并在单个模型和集成模型上面均进行了对比,实验效果取得了 state-of-the-art,较之前最好模型分别提升了1.2% 和 3.8%。
两个有趣的发现
一个是预训练语言模型在常识问答上面的质量排序:BERT < RoBERTa < XLNet < Albert < T5。
外部信息起到了很关键的作用,RoBERTa+KEDGN 相比于 RoBERTa 提升1.9%,DEKCOR 相比于 ALbert 提升6.8%。
模型 效果(%) 提升(%) RoBERTa 72.5 --- RoBERTa+KEDGN 74.4 1.9 Albert 76.5 --- DEKCOR 83.3 6.8
总结
本文在原有结构信息的基础之上融合实体的上下文信息,能够丰富知识图谱中的结构化知识,让预训练语言模型更上一层楼,在常识推理任务中取得了很好的效果。
参考资料
Xu Y, Zhu C, Xu R, et al. Fusing Context Into Knowledge Graph for Commonsense Reasoning[J]. arXiv preprint arXiv:2012.04808, 2020.
说个正事哈
由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:
(1)点击页面最上方“深度学习自然语言处理”,进入公众号主页。
(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。
感谢支持,比心。
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
推荐两个专辑给大家:
专辑 | 李宏毅人类语言处理2020笔记
专辑 | NLP论文解读
专辑 | 情感分析
整理不易,还望给个在看!
问答知识图谱还缺少什么信息?相关推荐
- 融合知识图谱和用户行为信息的个性化推荐算法研究
来源:< 计算机科学与应用> ,作者程静文等 关键词: 推荐系统:知识图谱:深度神经网络 摘要: 摘要: 针对传统协同过滤存在的稀疏性和冷启动问题,通常使用深度神经网络(DNN)构建融合知 ...
- 给LLM装上知识:从LangChain+LLM的本地知识库问答到LLM与知识图谱的结合
前言 过去半年,随着ChatGPT的火爆,直接带火了整个LLM这个方向,然LLM毕竟更多是基于过去的经验数据预训练而来,没法获取最新的知识,以及各企业私有的知识 为了获取最新的知识,ChatGPT p ...
- 技术动态 | 针对复杂问题的知识图谱问答最新进展
本文转载自公众号:PaperWeekly. 作者:付彬.唐呈光.李杨.余海洋.孙健 单位:阿里巴巴达摩院小蜜Conversational AI团队 背景介绍 知识图谱问答(KBQA)利用图谱丰富的语义 ...
- 针对复杂问题的知识图谱问答最新进展
作者|付彬.唐呈光.李杨.余海洋.孙建 单位|阿里巴巴达摩院小蜜Conversational AI团队 背景介绍 知识图谱问答(KBQA)利用图谱丰富的语义关联信息,能够深入理解用户问题并给出答案,近 ...
- 知识图谱问答 | (1) 针对复杂问题的知识图谱问答(KBQA)最新进展
原文地址 1. 背景介绍 知识图谱问答(KBQA)利用图谱丰富的语义关联信息,能够深入理解用户问题并给出答案,近年来吸引了学术界和工业界的广泛关注.KBQA 主要任务是将自然语言问题(NLQ)通过不同 ...
- 知识图谱推理问答:如何让机器像人类一样学会推理
来源:AI TIME 论道 本文约6000字,建议阅读10分钟 本文将结合知识图谱推理问答的数据集,为大家梳理主流的研究方法,分析各种方法的优缺点,并对将来的研究工作作出展望. 标签:知识图谱 近年来 ...
- NLP复习资料(8)-知识图谱、信息抽取
NLP复习资料 第16讲-知识图谱 第17讲-信息抽取(知识图谱生命周期中信息获取的关键技术) 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 第16讲-知识图谱 知识图 ...
- 信息抽取在知识图谱构建中的实践与应用
编者按 坦率地讲,各行各业对如何落地知识图谱这个问题,或多或少都心存一丝疑惑.人类知识和机器可理解的知识有什么区别?知识图谱如何突破自身局限性,从"万事通"转为"科学家& ...
- 多模态信息抽取(一)——融合知识图谱和多模态的文本分类研究(论文研读)
融合知识图谱和多模态的文本分类研究 引言: 1 相关工作 1.1文本分类 1.2知识融合 1.3多模态融合 2 融合知识图谱和多模态的文本分类模型 2.1文本特征表示 2.2实体特征表示 2.3图像特 ...
- 知识图谱:一种从文本中挖掘信息的强大数据科学技术
概览 知识图谱是数据科学中最有趣的概念之一 了解如何使用Wikipedia页面上的文本构建知识图谱 我们将动手使用Python流行的spaCy库构建我们的知识图谱 介绍 梅西(Lionel Messi ...
最新文章
- js 文本反向排列显示
- js/jq基础(日常整理记录)-2-一个简单的js方法实现集合的非引用拷贝
- Windbg脚本和扩展工具开篇
- es6-Symbol
- 寻找一个字符串中所有重复字符的索引
- 余秋雨的话(与OI无关)
- J2EE搭建Dynamic web SpringMVC工程404错误分析(三)
- MVC+LINQToSQL的Repository模式之(二)数据基类
- [2018.12.6]左偏树
- 调试系列1:bugreport源码篇
- Sass的安装(windows 10)
- MFC编程入门之二十一(常用控件:编辑框Edit Control)
- 使用SVM分类器进行图像多分类
- Fragstats软件使用及其景观生态学意义
- U盘 / 移动硬盘在 Mac 苹果电脑上无法使用问题
- mysql 求季度产量平均值
- java 构造器 血药主题_Day08-面向对象编程,Java构造器
- Excel —— 相对引用录制宏(附视频)
- 我理解的Java栈与堆,String类
- Docker学习--Docker镜像的管理操作