论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction

Verga, Patrick, Emma Strubell, and Andrew McCallum. "Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction."arXiv preprint arXiv:1802.10569(2018).

问题：在关系抽取中，现有的工作没有考虑：1）提及的交互；2）每一个实体对之间的冗余计算；3）跨越句子编辑额的关系

同时在编码长的token序列时，LSTM不容易并行计算；CNN 融合上下文的信息依赖其层数，而深的层CNN不容易学习

任务：生物领域关系抽取；同时以实体级别的关系远距离监督，提出的大的数据集

动机：self attention的相关工作等

方法：提出了新架构 Bi-affine Relation Attention Networks (BRANs), 整合多实例多任务：

整合了卷积和self attention 的Transformer修改版本，sub-word

关系抽取与实体抽取两个任务：1）实体抽取，使用BIO标记；3）关系抽取，在最后的实体polling的时候才考虑实体提及信息

试验：论文中在不同的数据集上都有试验

结论：

创新：

论文中存在的问题/疑惑:We tokenize the text using byte pair encoding (BPE) (Gage, 1994; Sennrich et al., 2015).

使用BPE进行tokenize，构建词汇

思考：多head self attention；Transformer

整体的架构，多任务，多实例，主要是为了缓解在标注时候的几个问题：交互、重复计算

为了处理跨越句子的关系，对很长的token进行编码，使用google 的transformer的结构，一方面可以并行计算，另一方面对输入的长度可以不进行限制，而且使用multi-head attention机制，在输入序列很长的时候，仍旧能够自动学习token之间的依赖关系

使用BPE，特别针对生物信息领域的，能对这个领域的性能进一步提升。

在有实体提及信息时，可以将实体识别模块作为正则项，这样更能提高模型对实体所携带的信息直接到编码到张量中；在没有提及信息时，本文正好可以进行NER，提出了新的标注数据。

论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction相关推荐

【论文精读】TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task
这篇文章是ACL2020上的文章,来德国研究中心的Christoph Alt. 文章主要研究的是Tacred的数据集合中的Dev和Test集的标注错误,并且做了标注错误类型的分组,做了对比试验验证这些 ...
关系抽取论文总结（relation extraction）不断更新
2000 1.Miller, Scott, et al. "A novel use of statistical parsing to extract information from te ...
论文浅尝 | Learning with Noise: Supervised Relation Extraction
Luo B, Feng Y, Wang Z, et al. Learning withNoise: Enhance Distantly Supervised Relation Extraction w ...
论文阅读课8-Chinese Relation Extraction with Multi-Grained Information and External Linguistic Knowledge
文章目录 Abstract 1.Introduction 2.相关工作 3. 方法 3.1 输入 3.1.1 字符级别表示 3.1.2单词级表示 3.2encoder 3.2.1 base latti ...
论文阅读课2-Inter-sentence Relation Extraction with Document-level （GCNN，句间关系抽取，ACL2019
文章目录 abstract 1.introduction 2.model 2.1输入层 2.2构造图 2.3 GCNN层 2.4MIL-based Relation Classification 3. ...
论文学习11-Adversarial training for multi-context joint entity and relation extraction(实体关系买抽取模型，对抗学习
文章目录 1. introduction 2.相关工作 3.Model 3.1 Joint learning as head selection 3.2 AT 4.实验设置 5.结果 6.总结实体关 ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
写在前面之前介绍的关系抽取系列文章主要是属于pipeline形式的,即第一步用实体识别将关系对抽取出来,第二步才是对关系对的分类,这样的做法会导致误差的传递.另外有一种解决方案是端到端的joint ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
0. 写在前面不想写 1. Neural Relation Extraction with Multi-lingual Attention(Lin/ ACL2017) 这篇文章是在Lin 2016年 ...
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
0. 写在前面回头看了一遍之前的博客,好些介绍的论文主要是属于关系分类的领域,于是就把前几篇的标题给修改了一下哈哈.关系分类和之前的文本分类,基于目标词的情感识别还都挺像的,baseline模型也都 ...

论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction

论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction相关推荐

最新文章

热门文章