论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取
论文笔记整理:王狄烽,南京大学硕士,研究方向为关系抽取、知识库补全。
链接:https://arxiv.org/pdf/1903.01306.pdf
发表会议:NAACL2019
动机
现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪,从而提升模型效果,而忽略了长尾关系的抽取,使得长尾关系抽取效果极差。但是长尾关系的存在是不可忽略的,在NYT数据集中,大约70%的关系属于长尾关系(即该关系训练实例数量较少,少于1000)。如何提高模型对长尾关系抽取效果是该篇论文主要出发点。
贡献
该篇论文的主要贡献如下:
1、提出了一种长尾关系远程监督抽取的模型;
2、联合使用KG embeddings 和 GCNs 来学习关系丰富的语义信息;
3、利用coarse-to-fine knowledge-aware mechanism 来利用关系语义信息;
4、在NYT数据集上的结果表明当前模型在长尾关系的抽取上取得了state-of-the-art的效果。
方法
在方法整体思路上,遵从前人工作,利用语义相近的head关系,辅助训练长尾关系,从而缩小关系抽取时潜在的搜索空间、减少关系之间的不确定性。该思路的两个要点在于:1、如何学习得到关系语义信息;2、如何利用学习得到的关系语义信息。
对于如何学习得到关系语义信息,该论文首先利用现有的KG embeddings方法(如TransE等)学习得到关系的隐式语义信息,但是因为TransE等模型无法有效建模关系的一对多、多对多情况,从而仅仅通过KG embedding方法无法有效获取关系的语义信息。因此,论文中使用图卷积网络(GCNs)从关系的层次结构中获取关系的显式语义信息。最后将关系的隐式语义信息和显式语义信息进行结合从而得到最终的关系语义信息表示。
对于如何利用学习得到的关系语义信息,该论文首先利用CNN将句子编码为低维向量,然后使用 coarse-to-fine knowledge-aware mechanism 从多个同实体对句子(多实例学习)加权得到最终的句子向量表示。
模型的框架图如下所示:
从模型框架图中可以看出,其方法主要包含三个部分:
1、实例编码模块:利用CNNs对句子进行编码;
2、关系知识学习模块:利用KG embedding和GCNs得到关系的语义表示;
3、Knowledge-aware注意力模块:利用关系语义信息对同实体对的多个句子进行加权得到最终句子的语义表示。
1、实例编码模块
给定一个句子及其包含的两个entity mentions,利用CNN或PCNN模型,将原始的句子 s 映射到一个低维连续空间中,得到向量x,该论文使用的特征包括1、预训练Skip-Gram word embedding;2、position embeddings。
2、关系知识学习模块
在关系知识学习中,综合利用 KG embedding 和 GCNs 得到关系的语义表示。对于KG embedding 使用 TransE 对知识进行预训练从而得到关系的隐式表示。
对于如何使用GCNs得到关系的显示表示?论文中首先构建了关系的层次结构图,关系的层次结构图可以使用hierarchy clustering (Johnson, 1967) or K-means算法结构构建,也可以使用现有知识图谱中关系的层次结构。关系的层次结构图如下所示。
对于构建的关系层次结构图,底部的节点用TransE预训练的关系向量进行初始化,父节点初始化为子节点平均值。
使用两层GCN,对构建的关系层次图进行迭代训练,GCN 输出层公式如下:
最终关系的语义表示为:
3、Knowledge-aware注意力模块
依从多实例学习,对于给定的实体对,以及相关的多个句子,对于一个关系r,我们可以得到其关系的层次链,其中是的子关系。
我们计算 Attention 操作在关系层次链的每一层,从而得到每一层文本相关的关系表示,具体公式如下:
考虑到不同层次的关系对最终实例表示的贡献的不同,对每一层关系表示使用Attention操作,其中使用作为score-function,表示输入关系r和该层预测关系r’之间的匹配层度,计算公式如下:
最后使用来计算,计算公式如下:
实验
1、数据集
NYT dataset |
|
Relations number |
53 |
Training set |
522611 sentences |
281270 entity pair |
|
18252 relation facts |
|
Test set |
172448 sentences |
96678 entity pairs |
|
1950 relation facts |
2、实验结果
3、长尾关系实验结果
说明:为了体现模型在长尾关系的有效性,作者选择了实例数少于100/200的长尾关系,以长尾关系构建测试子集进行实验,实验结果如下。
总结
本文针对长尾关系抽取提出了一种利用KG embedding和GCNs学习关系知识以及使用注意力机制利用学习得到的关系语义信息的模型。
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取相关推荐
- 论文浅尝 | 对于知识图谱嵌入表示的几何形状理解
论文链接:http://anthology.aclweb.org/attachments/P/P18/P18-1012.Presentation.pdf 发表会议:ACL 2018 摘要 知识图谱的嵌 ...
- 论文浅尝 | 采用成对编码的图卷积网络用于知识图谱补全
笔记整理:姚祯,浙江大学在读硕士,研究方向为知识图谱表示学习,图神经网络. 论文引用:Liu S, Grau B, Horrocks I, et al. INDIGO: GNN-based induc ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | KGNLI: 知识图谱增强的自然语言推理模型
笔记整理 | 韩振峰,天津大学硕士 链接:https://aclanthology.org/2020.coling-main.571.pdf 动机 自然语言推理 (NLI) 是自然语言处理中的一项重要 ...
- 论文浅尝 - SWJ | 基于知识图谱和注意力图卷积神经网络的可解释零样本学习
论文题目:Explainable Zero-shot Learning via Attentive Graph Convolutional Network and Knowledge Graphs 本 ...
- 论文浅尝 | 利用知识-意识阅读器改进的不完整知识图谱问答方法
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答. 来源:ACL2019 链接:https://www.aclweb.org/anthology/P19-1417/ 本文提出了一种融合不完整 ...
- 论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习
论文笔记整理:周虹廷,浙江大学研究生.研究方向:知识图谱,图表示学习等. 论文链接: http://web.cs.ucla.edu/~yzsun/papers/2019_KDD_JOIE.pdf 本文 ...
- 论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
本文转载自公众号:机器之心. 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注.在本论文中,加州大学圣塔芭芭拉分校的王威廉等研究者在知识图谱推理中引入了变分推理框架,并将路径搜索和路径推理紧密结合从 ...
- 论文浅尝 | 动态知识图谱对齐
论文笔记整理:谭亦鸣,东南大学博士生 来源:AAAI'21 链接:https://ojs.aaai.org/index.php/AAAI/article/view/16585 概述 本文提出了一种动态 ...
最新文章
- Android 个人学习笔记- 导入android项目,无法自动生成R文件的解决方法
- ios游戏开发 Sprite Kit教程:初学者 2
- mybatis返回map操作
- 图的m着色问题pascal程序
- AI理论知识整理(17)-子式,非奇异,可逆
- 主体的实践,摘录-----保守还是改革,不是靠思辨的力量,而是靠实践
- 计算机丢失winmm.dll,winmm.dll
- 21天让你成为Horizon View高手—Day11:手动池的创建
- 【论文分享】ACL 2020 信息抽取与问答系统
- 使用135编辑器HTML样式,135编辑器滑动样式全教程!
- 解决PHP "headers already sent"错误
- 校园APP开发的优势和特点
- 时间固定效应和个体固定效应的选择_固定效应模型必须同时控制时间和个体吗?...
- NumPy 学习 第三篇:矢量化和广播
- AndroidStudio打包AAR供Unity使用流程
- 初中英语和计算机融合的教学案例,初中英语与信息技术整合教学案例
- 写一个26字母和0-9数字 不同长度组合的输出
- 哪个软件能准确测试人脸,人脸识别软件哪个好?人脸识别软件推荐2020
- 【Barracuda】Barracuda用GMV后处理的使用方法总结(持续更新2020-5-22)
- idea 设置某个单词不显示下划线
热门文章
- 解决锚点在IE8中失效
- fedora10完全配置文档连接网址
- 给创业者的30条建议
- boost_1_48_0 在VS2008下的安装 Boost.Asio安装
- set_bit() 等位函数分析! \linux-1.0\linux\include\asm\bitops.h
- 我的Linux内核学习笔记
- 计算机一级考试教学设计,《全国计算机一级考试》教学设计说明.doc
- 【Pytorch神经网络实战案例】07 预测泰坦尼克号上生存的乘客
- LeetCode 660. 移除 9(9进制)
- LeetCode MySQL 1280. 学生们参加各科测试的次数