实体关系抽取几篇论文

1、《A Unified MRC Framework for Named Entity Recognition》

paper:https://arxiv.org/pdf/1910.11476.pdf
code:https://github.com/ShannonAI/mrc-for-flat-nested-ner

摘要：提出了一种基于MRC的框架提高了Flat NER和Nested NER的准确率，尤其是在Nested NER上效果的提升。

模型：基于阅读理解式的就需要构造query获得answer，先看query的构造：

这种query是实体类别的一种描述，尽可能的通用和精确，可以使用解释概念或者提及。这种构造query的方式加入了标签的先验知识。

模型输入（基于bert）：

Span selection:

有两种形式：
一、使用两个 n-class 分类器，其中 n 表示输入序列『X』的长度，等同所有的 token 的数量，第一个 classifier 判断所有的 token 中哪个最有可能是 start index ，第二个 classifier 判断哪个最有可能是 end index 。由于，每个分类器都使用 softmax 作用于 X 的所有 token 上面，因此，只能得到单个范围的 span ；二、使用两个 binary 分类器，对每个token都进行预测，第一个 classifier 预测每个 token 是否是 start index ，第二个 classifier 预测每个 token 是否是 end index ，因此，这种策略允许输出多个 start index 和 end index ，这样就可以输出多个与 query 相关联的 span ，本文选择较为合理的第二种策略。

Start-End Matching

因为在文本中有同一个类别的多个实体（距离最近原则不适应嵌套的实体），我们需要找到匹配的起始位置。对于可能的start，end：
加入一个二分类器来判断他们是否匹配：

损失函数：

**优点：**在query中加入了先验知识，可以解决Nested NER问题。

**缺点：**同一个样本要复制N（实体类别数目）次来构造所有实体类型的query。

2、《FLAT: Chinese NER Using Flat-Lattice Transformer》

paper:https://arxiv.org/pdf/2004.11795.pdf
code:https://github.com/LeeSureman/Flat-Lattice-Transformer

Lattice这种加入词汇信息的都属于词汇增强方式。

Lattice NER的缺点：

1、双向LSTM效率低，很难利用GPU并行计算；

2、只针对LSTM结构进行了改进，无法迁移至其他模型。

**摘要：**本文针对中文NER，提出了一种Flat-lattice Transformer结构，将lattice结构展平，利用transformer结构和精心设计的位置编码，能够充分利用lattice信息并有较好的并行能力。

Flat-Lattice框架：

这里为每一个token设计了head position and tail position。对于每一个字符，它的head和tail是相同的，对于一个词，head和tail分别为词的起始index。我们可以通过词典来获得所有字符的lattice，就可以将它扁平化了。

Spans的相对位置编码

Flat-lattice结构包含了不同长度的spans，为了编码每个span之间的内在联系，作者提出了spans的相对位置编码。对于在lattice中的2个span，xi xj,他们之间有三种关系，intersection ,inclusion and separation，是哪种关系取决于头和尾，论文使用一个Dense向量去建模他们的关系，而不是直接编码三种关系。它是通过头尾信息的连续变换来计算的，由此，作者认为，这样不仅可以表示两个token之间的关系，还可以蕴含一些细节信息，比如，字符和词之间的距离。来看具体表示，Head[i]和tail[i]表示span x[i]的头和尾，4种距离可以表明x[i]和x[j]之间的关系：

举个例子：
最后span的相对位置编码是一个简单的四个距离的非线性变换：

最后接一层CRF。

3、《A Novel Cascade Binary Tagging Framework for Relational Triple Extraction》

paper:https://arxiv.org/pdf/1909.03227.pdf
code:https://github.com/weizhepei/CasRel

摘要：提出了一种新的级联框架可以从句子中抽取多个关系三元组。

实体关系抽取中几种情况：

Normal：一个实体参与一个关系
EPO：同一对实体有两种不同的关系
SEO：一个实体参与到多个关系中

针对上述问题，论文提出 a novel cascade binary tagging framework(CASREL)来解决，直接来看模型框架：

本模型使用bert进行编码，然后找出句子中所有可能的subject，subject的开始和结束都用1表示，不是边界的词用0表示，使用就近原则来确定subject。然后对于每一个subject，对subject_head和subject_tail做平均，加到bert的编码中，加一个n-class分类器，遍历每一种关系，同时识别关系和object，如果存在某种关系，则获得object的起始位置，如果不存在，则起始位置都是0，如上图。

4、《A Frustratingly Easy Approach for Joint Entity and Relation Extraction》

paper:https://arxiv.org/pdf/2010.12812.pdf

先来介绍两种实体提取方法：

片段排列+分类
对片段进行排列，排列所有可能提取的span，然后加softmax对每一个span进行分类。

因为选择了所有可能的span，所以解决了Nested NER问题。但是对于含有T个token的文本，理论上有N=T(T+1)/2种片段排列。如果文本过长，就会产生大量的负样本，在实际中需要限制span的长度合理消减负样本。
加入标志符信息
如图所示，在实体前后加入标志符，强化实体表征，然后将[E1]和[/E1]向量contact再进行关系分类。

在这篇paper中，所采取的pipeline模型如下：

（a） Entity model: 片段排列+分类
（b） Relation model: 对所有的实体pair进行关系分类。其中最重要的一点改进，就是将实体边界和类型作为标识符加入到实体Span前后，然后作为关系模型的input。例如，对于实体pair（Subject和Object）可分别在其对应的实体前后插入以下标识符：和</S:Md>：代表实体类型为Method的Subject，S是实体span的第一个token，/S是最后一个token；和</O:Md>：代表实体类型为Method的Object，O是实体span的第一个token，/O是最后一个token；对于关系模型，对每个实体pair中第一个token的编码进行concatenate，然后进行SoftMax分类。
（c）近似模型

需要指出的是，上述实体模型和关系模型分别采取两个独立的预训练模型进行编码（不共享参数）。

对于这种关系模型，我们不难发现：对每个实体pair都要轮流进行关系分类，也就是同一文本要进行多次编码。

为解决这一问题，提出了一种加速的近似模型（如上图c所示）：可将实体边界和类型的标识符放入到文本之后，然后与原文对应实体共享位置向量。上图中相同的颜色代表共享相同的位置向量。实验结果表明，这样可以提速8-16倍,对精度的损失只有一点点，可忽略。

cross-sentence

为了加入上下文特征，有的做法是将上下文中句子加入进来，比如加入上下文3个句子。本文作者认为，一个好的预训练模型有能力捕捉长距离信息，作者简单的将上下文固定窗口的信息加入到实体模型和关系模型。即在左右两端分别加入（W-n）/2个词信息，n为文本长度，W为窗口大小，论文中实验W=100.

从实验结果上看，本文提出的方法较其他方法提高很大，为什么有如此好的表现，作者也进行了分析：

1.实体和关系模型的上下文表示本质上捕获不同的信息，因此共享它们的表示会影响效果；
2.在关系模型的输入层融合实体信息（包括边界信息和类型信息）至关重要；
3.利用跨句（cross-sentence）信息在这两项任务中都很有用；
4.更强大的预先训练语言模型可以带来进一步的收益。

由此，作者期望这个简单的模型能作为一个很强的基线，让我们重新思考联合训练在端到端关系抽取中的价值。

实体关系抽取几篇论文相关推荐

基于主体掩码的实体关系抽取方法
点击上方蓝字关注我们基于主体掩码的实体关系抽取方法郑慎鹏1, 陈晓军1, 向阳1, 沈汝超2 1 同济大学电子与信息工程学院,上海 201804 2 上海国际港务(集团)股份有限公司,上海 200 ...
[论文阅读笔记52]深度学习实体关系抽取研究综述
来源:软件学报 2019 1.摘要: 围绕有监督和远程监督两个领域,系统总结了近几年来中外学者基于深度学习的实体关系抽取研究进展,并对未来可能的研究方向进行了探讨和展望. 2.经典的实体关系抽取方法 ...
【每周NLP论文推荐】掌握实体关系抽取必读的文章
欢迎来到<每周NLP论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 实体关系抽取作为信息抽取领域的重要研究课题 ...
【论文阅读笔记】面向医学文本的实体关系抽取研究综述
面向医学文本的实体关系抽取研究综述写在前面深度学习方法监督学习基于简单的CNN模型基于CNN模型的改进基于RNN模型基于注意力机制的模型远程监督的多实例学习分段卷积神经网络模型及改进 ...
知识图谱从哪儿来？实体关系抽取的现状和未来
12月17日晚,2019年清华特奖获得者之一,清华大学自然语言处理实验室大四本科生高天宇,在智源论坛Live第1期,以<实体关系抽取的现状和未来>为主题,与150位观众进行了在线交流.本文 ...
“智源论坛Live”报名 | 清华大学高天宇：实体关系抽取的现状和未来
报名请点击「阅读原文」在线直播时间:12月17日19:30-20:30 "智源论坛Live"第1期 "智源论坛Live"是智源论坛系列活动之一,通过在线直播形 ...
BERT：代码解读、实体关系抽取实战
目录前言一.BERT的主要亮点 1. 双向Transformers 2.句子级别的应用 3.能够解决的任务二.BERT代码解读 1. 数据预处理 1.1 InputExample类 1.2 In ...
技术动态 | 知识图谱从哪里来：实体关系抽取的现状与未来
本文作者为:韩旭.高天宇.刘知远.转载自刘知远老师的知乎专栏,文章链接:https://zhuanlan.zhihu.com/p/91762831 最近几年深度学习引发的人工智能浪潮席卷全球,在互联网 ...
基于依存句法分析的开放式中文实体关系抽取
参考: HanLP自然语言处理基于依存分析的开放式中文实体关系抽取方法命名实体三元组抽取参考自fact_triple_extraction 这一段时间一直在做知识图谱,卡在实体关系抽取这里几个月了 ...

实体关系抽取几篇论文

实体关系抽取几篇论文相关推荐

最新文章

热门文章