文章目录

前言
1.摘要
2.模型
- 2.1 编码层
- 2.2 Mention-level Graph Aggregation 提及图特征聚合
- 2.3 Entity-level Graph Inference Module 实体图推理模块
- 2.4 Classification Module 分类模块
3.实验

前言

这是EMNLP2020一篇文档级关系抽取的论文，代码链接 https://github.com/DreamInvoker/GAIN，其性能相较ACL2020中的文档级关系抽取模型LSR有一定的提升，其能够有提升的主要原因在于两点：

构建了异质图并使用了R-GCN进行特征传播，相较之前一些构建同质图然后做特征传播的模型，使用异质图可以融合更复杂的特征；
增加了关系推理层，构建了一个实体图做关系推理。

1.摘要

文档级关系抽取的目的是提取文档中实体之间的关系。不同于句子层次的关系抽取，文档需要对文档中的多个句子进行推理。本文提出了GAIN模型。GAIN首先构建了一个异构提及级别图（hMG）来对文档中不同提及之间的复杂交互进行建模。在此基础上，提出了一种新的路径推理机制来推断实体间的关系。在公共数据集DocRED上的实验表明，GAIN在性能上比以前的先进技术有了显著的提高（F1提升为2.85）。

论文的主要工作：

为了更好地处理文档级的RE任务，提出了一种新的方法，即图聚合和推理网络（GAIN），它通过两种图网络来实现关系抽取，两张图一个用于特征传播一个用于关系推理。
引入了一个基于图神经网络的异构提及图（hMG），以模拟文档中不同提及之间的交互，并提供文档中实体提及的表示。
引入实体级图（EG），提出了一种新的实体间关系推理路径推理机制。

2.模型

GAIN相较于之前的模型，一个很大的特点是构建了两种图，使用实体提及构建Mention-level Graph然后用R-GCN进行特征传播，用实体构建Entity-level Graph进行关系推理，得到一个关系向量然后分类。

2.1 编码层

以句子为单位，使用LSTM或者BERT对文本进行编码，以LSTM为例，将每个单词的词向量 EwE_wEw、实体类型编码 EtE_tEt、共指编码 EcE_cEc（如果单词不是实体提及就设为Notype）拼接作为输入

这里的Encoder可以是LSTM或者其他常用的编码器

2.2 Mention-level Graph Aggregation 提及图特征聚合

为了对文档级信息以及提及与实体之间的交互进行建模，GAIN 构造了一个异构提及层图（hMG）。

hMG有两种不同类型的节点：提及节点和文档节点。每个提及节点表示一个实体的特定提及。hMG还有一个document文档节点，用于对整个文档信息进行建模。document文档该节点可以作为一个枢纽，与不同的提及进行交互，从而缩短在 hMG图中实体提及之间的距离。

hMG中有三种类型的边：

实体内边：同一实体的提及通过实体内边两两相连。对同一实体的不同提及之间的相互作用进行建模。
实体间边：两个不同实体的提及如果在一个句子中同时出现，则通过实体间边将这两个提及相连接。这样，实体间的相互作用就可以通过实体间边来建模。
文档边：所有提及节点都通过文档边连接到文档节点，因此所有的提及节点都可以通过文档节点和文档中任意其他的一个提及节点相连。以文档节点为轴心，两个提及节点之间的距离最长为2，这样可以更好地建模长距离依赖关系。

hMG构建完之后在图上使用R-GCN进行特征传播，更新节点的表示：

2.3 Entity-level Graph Inference Module 实体图推理模块

在这一部分中，构建一个实体级图（EG）并使用路径推理机制得到关系向量。首先，将引用同一实体的提及合并到实体节点中，以获得EG图中的实体节点。在EG中忽略掉了hMG中的文档节点。对于第 iii 个实体节点eie_iei ，它由其N个提及表示的平均值表示：

然后，将有关系的两个实体相连（如果两个实体的提及之间有关系则这两个实体就有关系），从而得到EG中的边。EG中从 eieiei 到 ejejej 的有向边的表示定义为：

其中 αiα_iαi 是第 iii 条路径的归一化注意权重。因此，该模型将更加关注有用的路径。σ是一个激活函数。其中Wq和bq是可训练参数，σ是激活函数（例如ReLU）。

基于边的向量表示，以实体 eoe_oeo 作为中介节点，从头实体 ehe_heh 到尾实体 ete_tet 之间的第 iii 条路径表示为：

这里可以考虑多跳路径，但论文中为了方便计算只考虑两跳的路径。

由于两个实体间的路径可能有多条，所以需要有对多条路径的融合机制，GAIN采用注意机制，利用实体对（eh，et）（e_h，e_t）（eh，et）作为query，融合 ehe_heh 和 ete_tet 之间不同路径的信息。

实体图推理模块中，一个实体通过融合其提及的信息来表示，这些提及信息通常在多个句子中，因此这种提及向量的融合方式实现了一定程度上的跨句信息传播。此外，潜在的推理线索由实体间的不同路径来建模。然后将它们与注意机制相结合，这样就可以根据潜在的逻辑推理链来预测关系。

2.4 Classification Module 分类模块

对于每个实体对（eh，et）（e_h，e_t）（eh，et），我们连接以下三种表示做为关系向量的表示：

实体级别图中导出的头和尾实体表示eh和et，使用比较运算来增强特征，即两个实体表示之间的减法绝对值 ∣eh−et∣|e_h−e_t |∣eh−et∣
层次图中文档节点的表示，它有助于聚合跨句信息，提供文档感知表示
在实体图推理模块中最后得到的综合推理路径向量 ph，tp_{h，t}ph，t

最后，我们将任务描述为多标签分类任务，并预测实体之间的关系：

其中 Wa、Wb、ba、bbW_a、W_b、b_a、b_bWa、Wb、ba、bb 是可训练参数，σσσ 是激活函数（例如ReLU）。使用二进制交叉熵作为分类损失，以端到端的方式训练的模型：

其中 SSS 表示整个语料库，I（⋅）I（·）I（⋅）表示指示函数。

3.实验

首先是和其他模型的对比实验，和文档级关系抽取的经典模型EoG，LSR都做了对比

然后对比了模型对句子内的关系和跨句关系的抽取效果

对GAIN各模块的消融实验

EMNLP2020文档级关系抽取模型GAIN 论文Double Graph Based Reasoning for Document-level Relation Extraction相关推荐

论文小综 | 文档级关系抽取方法（上）
本文作者: 陈想,浙江大学在读博士,研究方向为自然语言处理张宁豫,浙江大学助理研究员,研究方向为自然语言处理.知识表示与推理 1. 前言关系抽取(Relation Extraction, RE)是 ...
论文小综 | 文档级关系抽取方法（下）
本文作者: 陈想,浙江大学在读博士,研究方向为自然语言处理张宁豫,浙江大学助理研究员,研究方向为自然语言处理.知识表示与推理这篇推文是文档级关系抽取方法的第二部分,前面的部分请移步推文" ...
文档级关系抽取方法，EMNLP 2020 paper
向AI转型的程序员都关注了这个号???????????? 人工智能大数据与深度学习公众号:datayx 目前大多数关系抽取方法抽取单个实体对在某个句子内反映的关系,在实践中受到不可避免的限制:在真 ...
达摩院文档级关系抽取新SOTA和零样本关系抽取新任务
©作者 | 邴立东.谭清宇.谢耀赓单位 | Alibaba DAMO, NUS, SUTD 引言关系抽取(RE)是 NLP 的核心任务之一,是构建知识库.事件抽取等下游应用的关键技术.多年来受到研 ...
文档级关系抽取：A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
提示:文档级关系抽取相关论文 A Densely Connected Criss-Cross Attention Network for Document-level Relation Extract ...
达摩院文档级关系抽取新数据集和五元组抽取新任务
©PaperWeekly 原创 · 作者 | 邴立东.谭清宇等单位 | Alibaba DAMO, NUS, SUTD 关系抽取(RE)是 NLP 的核心任务之一,是构建知识库.事件抽取等下游应用的 ...
入门文档级关系抽取_数据集DocRED、CDR、GDA
作为学习文档级关系抽取的短暂总结与记录.主要是相关数据集问题,如果能帮助到其他人,我也是很开心的. 文档级关系抽取论文网上有很多文档级关系抽取的综述,他们会告诉你有哪些经典文献需要阅读,我就不再搬运 ...
谈谈我对NLP文档级关系抽取中Ign_F1指标的理解(Ign_F1与F1的关系)
因为Ign_F1这个参数网上所解释的内容都是一致的,并且不太好理解于是我就特地请教了YX师兄这里特地感谢1107实验室YX师兄 F1分数 F1为精确率和召回率的调和平均数(为下部分做准备) 对于查 ...
文档级关系抽取：QIUXP：DORE: Document Ordered Relation Extraction based on Generative Framework
DORE: Document Ordered Relation Extraction based on Generative Framework 文档级关系抽取是从整篇文档中抽取出三元组.更难,但也很 ...
ACL 2018论文解读 | 基于路径的实体图关系抽取模型
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...

EMNLP2020文档级关系抽取模型GAIN 论文Double Graph Based Reasoning for Document-level Relation Extraction