A Unified MRC Framework for Named Entity Recognition阅读笔记

论文地址: https://arxiv.org/pdf/1910.11476.pdf

github：ShannonAI/mrc-for-flat-nested-ner: Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition` (github.com)

总结：将ner任务看成mrc（machine reading comprehension）任务解决实体嵌套问题

如北京大学不仅是一个组织同时北京是一个地点而看成mrc任务的好处在于引入了query这个先验知识比如对于LOC类别我们构造这样的query 找出国家城市等抽象或具体的地点模型通过attention机制对于query中的国家城市词汇学习到了地点的关注信息然后反馈到passage中的实体信息捕捉中提取具有不同类别重叠的两个实体需要回答两个独立的问题和最近打的比赛思路类似 ner和qa有时候就是可以解决同一类型问题的

论文细节写的很详细大概从三个点来讲的

构造query ner向qa转化的关键就在这假设目前我们要预测的实体类别个数为m 则我们需要构造m个不同的query 每个样本相当于扩充了m倍得到m个新的样本关于如何构造query 这个就需要人工来设计了对于通用的location person organization类别可以使用一些简单的query 就像ORG就可以设计为找出公司商业机构社会组织等组织机构
构造训练数据用BERT来做阅读理解任务首先需要构造相应格式的训练数据目前假设我们对每个原始样本构造了m个query 接下来就是将每个query和样本passage进行拼接得到m个不同的bert输入数据如下所示：

[[cls] 找出某某地点[sep]passage中包含地点的一句话[sep]]

经过构造后的一条数据样本是预测一个类别的实体的位置信息

另外在构造数据的时候有很多细节需要注意：

序列长度问题由于bert最长只能接收512长度的序列因此很多情况下都需要截断

对序列进行mask 由于我们搜索实体的范围仅局限与上下文passage 不包括query 但是bert处理的是query+passage整体序列在最后计算loss的时候我们需要将query部分（以及cls，sep、pad等特殊字符）mask掉使其在计算loss时被忽略

损失函数

分别预测实体的开始位置、结束位置以及从开始到结束位置是实体的概率损失函数分为三个部分 L-start L-end L-span

start:每一个token的二分类CE之和（答案开始）

L-end：每一个token的二分类CE之和（答案结束）一样

L-span：答案开始和答案结束组合的二分类CE之和 span loss通过一个二维矩阵来记录真实实体在句子中的（Start，End）位置比如某个实体在文本中的位置是1~3 那么它在二维矩阵的坐标（1,3）则标注为1 然后分别用三个超参控制三个不同loss的比例

然后解释了如何解决实体嵌套的问题

主要就是构造问题的时候用的annotation guideline notes来作为参考进行构造答案 guideline为tag定义类别可以归纳类别和准确为人类标注提供注释防止歧义然后又说了一下为什么选guideline当然最后是guideline最好

模型：就是bert作为baseline

A Unified MRC Framework for Named Entity Recognition阅读笔记相关推荐

NER项目--github--A Unified MRC Framework for Named Entity Recognition
A Unified MRC Framework for Named Entity Recognition项目代码简述项目结构 models model_config.py classifier.p ...
MRC Framework for Named Entity Recognition【代码解读】
一.预备知识介绍文章 A Unified MRC Framework for Named Entity Recognition[文章学习]:https://blog.csdn.net/qq_1694 ...
A Survey on Deep Learning for Named Entity Recognition论文笔记
前言:研究课题定为特定领域的命名实体识别,所以先阅读一篇综述,在此简单记录阅读过程. 摘要在文章中,首先介绍现有的NER资源,包括标记的NER语料库及现成的NER工具,然后对现有的工作进行了分类:输 ...
【论文笔记-NER综述】A Survey on Deep Learning for Named Entity Recognition
本笔记理出来综述中的点,并将大体的论文都列出,方便日后调研使用查找,详细可以看论文. 神经网络的解释: The forward pass com- putes a weighted sum of th ...
论文解读：Example-Based Named Entity Recognition
论文解读:Example-Based Named Entity Recognition 核心要点: 本篇工作是比较早的给出了如何定义和实现few-shot NER任务,后续诸多论文均引用该工作: 本文 ...
论文阅读：（2020版）A Survey on Deep Learning for Named Entity Recognition 命名实体识别中的深度学习方法
A Survey on Deep Learning for Named Entity Recognition 命名实体识别中的深度学习方法目录 A Survey on Deep Learning f ...
[论文阅读笔记44]Named Entity Recognition without Labelled Data：A Weak Supervision Approach
一,题目 Named Entity Recognition without Labelled Data:A Weak Supervision Approach 无标记数据的命名实体识别: 一种弱监督方 ...
Named Entity Recognition without Labelled Data:A Weak Supervision Approach论文详读
Named Entity Recognition without Labelled Data: A Weak Supervision Approach 无标记数据的命名实体识别:一种弱监督方法创新点 ...
论文阅读：A Survey on Deep Learning for Named Entity Recognition
这是一篇2020年发的命名实体识别的综述性论文,从NER的语料库,定义,评估指标,到深度学习中的NER的技术都有涉及到. A Survey on Deep Learning for Named Ent ...

A Unified MRC Framework for Named Entity Recognition阅读笔记

A Unified MRC Framework for Named Entity Recognition阅读笔记相关推荐

最新文章

热门文章