Abstract & Introduction & Related Work

研究任务
不连续NER
已有方法和相关工作
1. mention不嵌套或重叠，因此每个标记最多属于一个mention
2. mention由连续的标记序列组成。嵌套实体识别解决了违反第一个假设的问题。
面临挑战
1. 需要处理不连续的mentions
2. 识别不连续的mention尤其具有挑战性，因为穷举可能的mention，包括不连续的和重叠的跨度，在句子长度上是指数级的
3. 现有的方法在将中间表征翻译成mention时存在模糊性。
4. 依赖手工设计的特征
创新思路
使用专门的行为和注意力机制来确定一个span是否不连续mention的组成部分
实验结论
我们在三个具有大量不连续提及的生物医学数据集上评估了我们的模型，并证明我们的模型能够有效地识别不连续mention而不牺牲连续mention的准确性。

Model

给出解析器的状态，预测一个动作，应用该动作来改变解析器的状态。这个过程重复进行，直到解析器达到结束状态（即堆栈和缓冲器都是空的）

一切尽在图中

Representation of the Parser State

首先润BiLSTM得到上下文表示，每个token的embedding用char CNN得到

再跟ELMo拼接起来，其中 $ELMo_i$ 是预训练的 $E L M o$ 模型的输出表示（冻结），用于第i个标记。这些标记表征c直接用于表示缓冲区中的标记。

BERT也用了，但是效果没有ELMo好

每当用到REDUCE的时候，就丢到一个fc层里面，得到的新表示代替原来的两个span

当stack里面的span需要与buffer里面的span结合的时候，使用一个乘法注意力机制，并且每个W是每个s独有的

Selecting an Action

最终我们用栈最上面三个span和它们注意的表示的拼接来建立一个解析表示，如同之前的a的表示，用一个简单的双向LSTM来学习，如果堆栈中的跨度少于3个或没有以前的动作，我们使用随机初始化的向量 $s_{empty}$ 或 $a_{empty}$ 来替换相应的向量。这个解析器表示被用作最后的softmax预测层的输入，以选择下一个动作

Data sets

Experimental Results

Summary

我们提出了一个简单有效的基于过渡的模型，可以在不牺牲连续mention的准确性的情况下识别不连续的mention。我们在三个具有大量不连续mention的生物医学数据集上评估了我们的模型。与现有的两个不连续的NER模型相比较，我们的模型更加有效，尤其是在召回率方面

Remark

这个跟stack结合到一起的模型属于是让我耳目一新，novelty很足（虽然是站在巨人的肩膀上而不是他首创），而且也能work，问题大小呢可能小一点，但是也让我见到了一种新的NER task，是篇好paper

Raki的读paper小记：An Effective Transition-based Model for Discontinuous NER相关推荐

Raki的读paper小记：Prompting ELECTRA: Few-Shot Learning with Discriminative Pre-Trained Models
Abstract&Introduction&Related Work 研究任务基于提示学习的ELECTRA 已有方法和相关工作 ELECTRA 面临挑战基于判别模型的预训练模型的f ...
Raki的读paper小记：OFA: UNIFYING ARCHITECTURES, TASKS, AND MODALITIES THROUGH A SIMPLE Seq2Seq FRAMEWORK
Abstract&Introduction&Related Work 研究任务多模式预训练的统一范式包括图像生成.visual-grounding(visual grounding ...
Raki的读paper小记：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
Abstract&Introduction&Related Work 研究任务语言+视觉模态预训练任务已有方法和相关工作 masked data已经成为一种主流面临挑战现有的多 ...
Raki的读paper小记：Named Entity Recognition without Labelled Data: A Weak Supervision Approach（半成品）
Abstract & Introduction & Related Work 研究任务无标注数据NER学习已有方法和相关工作 Unsupervised domain adaptat ...
Raki的读paper小记：Forget-free Continual Learning with Winning Subnetworks
Abstract&Introduction&Related Work 研究任务用子网络做CL 已有方法和相关工作彩票假说(LTH)证明了稀疏子网络(称为中奖彩票)的存在,这些子网络 ...
Raki的读paper小记：Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Nets
Abstract&Introduction&Related Work 研究任务 Continual Learning 已有方法和相关工作面临挑战创新思路利用持续学习过程中的持续稀 ...
[论文阅读笔记12]An Effective Transition-based Model for Discontinuous NER
一, 题目 <An Effective Transition-based Model for Discontinuous NER> 论文:An Effective Transition-b ...
Stetman读paper小记：ATTEQ-NN
注:本周笔者阅读了龚雪鸾.陈艳娇的文章ATTEQ-NN:Attention-based QoE-aware Evasive Backdoor Attacks.本文讲了作者设计的一种基于注意力机制的后门 ...
Stetman读paper小记：BackdoorBench - A Comprehensive Benchmark of Backdoor Learning
之前因为参与了实验室后门攻击的项目,阅读了一下这篇关于后门学习的综合性基准测试的研究工作,在此记录一下学习笔记与心得. 1 摘要这篇文章介绍了一个名为BackdoorBench的基准测试,用于评估后 ...
【不想读paper的时候看看】阅读文献？
[不想读paper的时候看看]为何阅读文献? 最近看了中国科学院大学(国科大/果壳)图书馆对我们一年级集中教学的同学关于图书馆资源与服务的培训PPT,截取了一些较有感触的slides做一下笔记. 1. ...

Raki的读paper小记：An Effective Transition-based Model for Discontinuous NER