论文笔记 EMNLP 2020|Resource-Enhanced Neural Model for Event Argument Extraction

文章目录

1 简介
- 1.1 动机
- 1.2 创新
2 方法
3 实验

1 简介

论文题目：Resource-Enhanced Neural Model for Event Argument Extraction
论文来源：EMNLP 2020
论文链接：https://aclanthology.org/2020.findings-emnlp.318.pdf

1.1 动机

对于事件论元抽取，以前的方法存在下面挑战：1)数据缺失;2)捕捉长距离依赖;3)将事件触发词的信息集成到候选论元的表示中。

1.2 创新

使用BERT作为编码器，使用未标注的数据进行预训练；构建auto-labeled数据进行自训练；解决数据缺失问题。
使用Transformer融合句法(通过句法分析)，捕捉长距离依赖。
设计了一种新的触发词感知编码器，同时学习四种不同类型的触发词序列表示信息。

2 方法

模型的整体框架如上图，主要包括下面几部分：

触发词感知的序列编码器：触发词感知的表示 $c_t=Concat(b_t;p_{y_g};l_t;h_g)$ 。其中 $b_t$ 为BERT编码(BERT的输入为embedding，segment embedding(0/1是否为触发词)，position embedding)； $p_{y_g}$ 是触发词类型编码； $l_t$ 是触发词指示器(0/1); $h_g$ 是触发词表示(max pooling 编码);
添加句法的Transformer：使用句法分析(Stanford Parser)改变Transformer每一层的attention head。每个head的K和V是不一样的，每一个 $a_t^l$ 是句法依赖中token $x_i$ 的邻居值 $vjlv^l_j$ 的加权注意力和,然后与 $u_t^l$ 线性拼接。公式如下( $U^l$ 为Transformer第l层的输出)：

- 特定角色的论元解码器：分有无entity两种情况。由于ACE2005数据中存在10%的角色重叠问题，如果有entity，则为多标签分类任务，设置一系列二分类器；如果无entity，进行一系列BIO标注。

为了解决数据缺失问题：

领域自适应预训练：在微调 BERT 编码器之前，我们执行了具有 BERT 损失的第二阶段的域自适应预训练。
自训练：首先基于gold数据训练模型，然后标注一个大的数据集(带噪声)，然后在这个数据集上训练一个新的模型，最后在gold数据上微调。
辅助任务：在触发词检测任务上共享BERT编码器，提高表示能力。

3 实验

实验数据集选择ACE 2005，对于自训练和领域自适应预训练的数据选择Gigaword的50k个文档，使用Stanford CoreNLP进行处理。实验结果如下图：

消融实验：

论文笔记 EMNLP 2020|Resource-Enhanced Neural Model for Event Argument Extraction相关推荐

论文笔记 EMNLP 2020|Edge-Enhanced Graph Convolution Networks for Event Detection with Syntactic Relation
文章目录 1 简介 1.1 动机 1.2 创新 2 背景知识 3 方法 4 实验 1 简介论文题目:Edge-Enhanced Graph Convolution Networks for Even ...
论文笔记 EMNLP 2020|Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument
文章目录 1 简介 1.1 创新 2 方法 3 实验 1 简介论文题目:Graph Transformer Networks with Syntactic and Semantic Structur ...
论文笔记 EMNLP 2020|Event Extraction by Answering (Almost) Natural Questions
文章目录 1 简介 1.1 动机 1.2 创新 2 方法 3 实验 1 简介论文题目:Event Extraction by Answering (Almost) Natural Questions ...
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio
文章目录 1 简介 1.1 创新 2 方法 3.1 Local Uncertainty Estimation 3.2 Uncertain Information Aggregation 3.3 Rep ...
EMNLP 22：Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
总结文中的前向和后向的思想可以借鉴下. 但总的来看,似乎是通过前向和后向来做的ensemble操作,虽然是在一个模型下,但同时前向和后向概率保证,可能能够使得预测更准确. 任务形式:event ar ...
论文笔记 AAAI 2021|what the role is vs. What plays the role: Semi-supervised Event Argument Extraction v
文章目录 1 简介 1.1 动机 1.2 创新 2 方法 3 半监督双重训练策略 4 实验 1 简介论文题目:What the role is vs. What plays the role: Se ...
【论文笔记】Adaptive Reinforcement Learning Neural Network Control for Uncertain Nonlinear System
Adaptive Reinforcement Learning Neural Network Control for Uncertain Nonlinear System With Input Sat ...
论文笔记：Attention Correctness in Neural Image Captioning
Attention Correctness in Neural Image Captioning 这篇论文在attention上做足了文章,分别建立了一个有监督attention训练机制,和新的评价标 ...
论文笔记：GVCNN: Group-View Convolutional Neural Networks for 3D Shape Recognition
GVCNN: Group-View Convolutional Neural Networks for 3D Shape Recognition 1.四个问题要解决什么问题? 3D shape re ...