[论文解读]Going out on a limb: Joint Extraction of Entity Mentions and Relations without...

论文地址：https://www.aclweb.org/anthology/P17-1085.pdf
发表会议：ACL2017

文章目录

背景
主要工作
思考
参考

背景

作者在2016年发表的论文：”Investigating LSTMs for Joint Extraction of Opinion Entities and Relations“联合抽取了opinion实体和关系，但是并没有抽取出关系的类型。
这篇论文也是实体和关系的联合抽取，他是对论文：“End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures“的改进，作者认为利用依存树结构的效果依赖于解析树的解析器的性能，并且上述论文也不是一个真正的联合抽取，所以作者冒险废弃了树结构。

主要工作

上图描述的是对“safwan”这个单词进行实体识别和关系分类的示例图。前面都好理解，主要看一下relation layer，relation layer利用了attention的思想。对于当前entity（关系分类只考虑是entity的token），计算它与之前所有entity的相似度，然后进行softmax，选择最大概率的entity做为和它有关系的entity。具体来说，query是当前位置t的lebel embedding（ $^{b}t$ ）和top-hidden unit（以下简称 $^{z}t$ ）的拼接。而key和value为位置t之前的所有 $^{z}t$ 和 $^{b}t$ 的拼接。即query要和所有之前的位置t（只包括实体位置，非实体不计算）的key进行相似度计算，然后softmax后选择一个最大概率的entity，如果最大概率是本身，则说明该实体没有关系。具体公式如下所示：

这里w1在每个位置是不同的，因为后面每个位置t的堆叠维数不同，而且没有用到value，即直接选择权值u最大的entity。
以上只能得到当前位置的entity和它之前的哪个entity最有关系，而并没有指明关系类型，作者提出在相似度计算函数中的参数v中增加维数，从而得到的u不再是权重值而是一个R维的向量，R为关系的类别数，这样经过所有位置的softmax就能得到一个T*R的矩阵，T为当前位置数，这样取矩阵中最大的数（概率）所代表的位置和关系即为和当前位置entity最有关系的entity和relation。
对于多关系分类，即一个entity可能与多个entity有关系，作者在训练的时候对每个关系对应的位置不再设为1，而是设为1/N，N为这个位置entity对应的关系数。
大多数序列标注问题在解码的时候采用从左到右的解码方式，缺少对右边序列的建模，作者利用了对输出的双向建模来提高模型效果。在训练的时候，bilstm及以下的结构是共享的，bilstm之上的网络是分开的，即前向和后向建模，每一步使用真实label做为下一步的输入。在预测阶段，因为没有真实label，所以前向后向的输出可能有冲突，这时选择最大概率值的label做为输出。
不同于其他的bilstm把前向和后向单元的输出拼接，作者把前后向单元又feed进了一个神经网络做为输出。

思考

和论文1“End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures“相比，不同点除了是否利用树结构这个外部特征之外，论文1主要是先进行了实体识别，然后遍历所有的实体对，输出他们之间关系，关系识别和实体识别的底层网络是共享的，但并不能说是真正的联合抽取。这篇论文是一边识别实体，一边抽取关系，具体来说是当前位置实体识别出来后，通过比较它与之前所有位置实体的相似度（attention机制），来识别出当前实体与其他实体的关系，是真正的联合抽取。

参考

https://blog.csdn.net/bobobe/article/details/82867239；
https://blog.csdn.net/bobobe/article/details/82878169；
Going out on a limb: Joint Extraction of Entity Mentions and Relations
without Dependency Trees；

[论文解读]Going out on a limb: Joint Extraction of Entity Mentions and Relations without...相关推荐

Going out on a limb:Joint Extraction of Entity Mentions and Relations without Dependency Trees【论文笔记】
一.Background 从文本中抽取实体及其关系是NLP中的一种结构化预测任务,比如细粒度观点挖掘,语义角色标注等等. 一些方法被提出用于抽取实体及其关系.这些方法可以被分为两类:pipel ...
[ACL2017]Going out on a limb:Joint Extraction of Entity Mentions and Relations without Depende...
本文声称是第一个神经网络联合模型, 同时抽取实体,关系以及关系类型.在解析句子中每一个词时,同时输出实体标签和关系标签. 另外在特征部分只使用了word_embedding, 没有用POS和depen ...
实体-关系联合抽取：Incremental Joint Extraction of Entity Mentions and Relations
论文地址:https://www.aclweb.org/anthology/P14-1038.pdf 文章标题:Incremental Joint Extraction of Entity Menti ...
论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》
论文解读<Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment> 论文题目:Glob ...
实体-关系联合抽取：CoType: Joint Extraction of Typed Entities and Relations with Knowledge Bases
文章地址:https://arxiv.org/pdf/1610.08763.pdf 文章标题:CoType: Joint Extraction of Typed Entities and Relati ...
论文解读：Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding（通过联合球面树和文本进行的层次主题挖掘）
本文是知识发现与数据挖掘的大作业,主要是对论文<Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding> ...
论文学习16-Going out on a limb: without Dependency Trees(联合实体关系抽取2017）
文章目录 abstract 1. Introduction 2. 相关工作 3. Model 3.1 Multi-layer Bi-directional Recurrent Network 3.2实 ...
ACL 2018论文解读 | 基于排序思想的弱监督关系抽取选种与降噪算法
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
用于部分迁移学习的加权对抗网络 | CVPR 2018论文解读
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...

[论文解读]Going out on a limb: Joint Extraction of Entity Mentions and Relations without...

文章目录

背景

主要工作

思考

参考

[论文解读]Going out on a limb: Joint Extraction of Entity Mentions and Relations without...相关推荐

最新文章

热门文章