A Frustratingly Easy Approach for Joint Entity and Relation Extraction（陈丹琦2020）
概述
本文是陈丹琦博士关于实体识别与关系抽取的一篇论文，文本使用了一种pipeline的方式而非joint learning的方式超越了之前的一众模型，在数据集ACE04/05、SciERC达到SOTA。其中：
- NER使用span-based的模型而非传统序列标注模型（即将句子中所有长度小于等于N的span聚集成一个候选集，再对候选集作分类，每个候选span根据模型生成一个对应的embedding表示）。
- RE使用“实体边界+实体类型”方法修改输入句子。
要点
- 利用Cross-sentence context可以有效提升NER和RE的性能，具体实现方法是直接将句子的上文和下文截取后拼接到句子中。上下文长度由(W−n)=2(W − n)=2(W−n)=2计算得到，WWW在实验中取100，nnn为句子长度。
- NER模型由预训练模型（Bert、AlBert）作为Encoder，再接两层的FFNN以及最后的sofrmax层。
- RE模型由预训练模型（Bert、AlBert）加一层softmax层得到。其中<S:Method>,</S:Method>,<O:Task>,</O:Task>融汇了实体边界与实体类型加入到句子中。
- 为了解决entity pair需要两两配对输入到RE模型分类的巨大时间开销，本文提出了一种近似的方法：不在原句子中加入“实体边界+实体类型”的标识符，而是将它们拼接到句子最后面，并用Position embedding共享原实体位置对应，同时设置attention掩码使得其只能attend到原句子而不会看到后面拼接的标识符。该方法目的是复用句子中所有token的隐向量，使得句子token和标识符marker相互独立。
- 具体例子如下：
实验结果
论文链接：A Frustratingly Easy Approach for Joint Entity and Relation Extraction
A Frustratingly Easy Approach for Joint Entity and Relation Extraction（陈丹琦2020）相关推荐
- 文献学习02-Effective Modeling of Encoder-Decoder Architcture for Joint Entity and Relation Extraction
论文信息 (1)题目:Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extracti ...
- 论文学习11-Adversarial training for multi-context joint entity and relation extraction(实体关系买抽取模型，对抗学习
文章目录 1. introduction 2.相关工作 3.Model 3.1 Joint learning as head selection 3.2 AT 4.实验设置 5.结果 6.总结 实体关 ...
- PURE(A Frustratingly Easy Approach for Entity and Relation Extraction)
写作动机(Movitation): 假设驱动:作者认为现有的表征仅仅只学习到了实体和上下文之间的联系,并没有学习到实体对之间的依赖关系. 相关工作(Related Work): 联合学习的子任务: 1 ...
- 20-Joint entity and relation extraction based on a hybrid neural network(LSTM-ED+CNN),考虑长距离的实体标签之间的关
文章目录 abstract 1.introduction 2.相关工作 2.1. Named entity recognition 2.2. Relation classification 2.3 联合 ...
- 阅读分享：A Frustratingly Easy Approach for Entity and Relation Extraction-NAACL2021
A Frustratingly Easy Approach for Entity and Relation Extraction 跳过背景.相关工作,直接来看方法 Ideas: different e ...
- 论文浅尝 | EARL: Joint Entity and Relation Linking for QA over KG
Mohnish Dubey, Debayan Banerjee, Debanjan Chaudhuri, Jens Lehmann: EARL: Joint Entity and Relation L ...
- A Frustratingly Easy Approach for Entity and Relation Extraction 论文阅读
一.概述 论文:https://paperswithcode.com/paper/a-frustratingly-easy-approach-for-joint 解读:https://mp.weixi ...
- 【论文解读】A Frustratingly Easy Approach for Entity and Relation Extraction
Abstract 对于实体识别和关系抽取的联合任务,大多数使用结构化预测模型或共享参数. 而作者使用一个简单的流水线模型实现.方法使用两个独立的编码器,关系抽取的输入仅仅是实体识别的结果. 通过实验, ...
- 【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment
文章目录 1.动机 2.输入输出 3.相关工作 4.模型 4.1 GCN 4.2 approximating relation representations 4.3 joint entity and ...
- 论文学习10-Joint entity recognition and relation extraction as a multi-head selection problem（实体关系联合抽取模型
文章目录 abstract 1.introduction 2. 相关工作 2.1 命名实体识别 2.2 关系抽取 2.3 实体关系联合抽取模型 3.联合模型 3.1 Embedding层 3.2 bi ...
最新文章
- linux I/O--I/O多路复用--select总结（三）
- 程序员幽默：39个奇葩代码注释，看完笑哭了
- QML工作笔记-Key Element的使用
- find命令批量修改权限和用户和删除指定时间文件
- 子页面带到父页面提交
- 2018年度全球收入52强App发行商榜单公布：腾讯连续三年居首
- 实现QQ代理上网 如何写？
- 小程序入门学习10--云开发03
- MathType requires a newer version of MT Extra等MathType问题的不兼容性解决方案
- base64编码的图片字节流存入html页面中的显示
- 【Python数据分析】数据挖掘建模——分类与预测算法评价（含ROC曲线、F1等指标的解释）
- Ubuntu阿里源镜像
- 键盘选中一行或多行的快捷键
- 和平精英镜头灵敏度怎么调到最稳呢
- html网页页面制作用到了什么技术,技术干货｜常用的HTML5网页制作软件，这些你有在用吗？...
- AMD GPU虚拟化
- 《数论概论》读书笔记（第二章）勾股数组
- 浏览器内核、webview内核
- 甲骨文java计算机考证
- 【附源码】Java计算机毕业设计安卓移动LYQ电子商城APP（程序+LW+部署）