Few-Shot Named Entity Recognition: An Empirical Baseline Study

看法

整体感觉，这篇文章是工程实践中可以参考的，大杂烩的感觉，复现一次，应该就能吧self training，有监督学习的NER这两种范式，加上多模型的voting机制，应该就可以熟悉了。

现有的小样本学习的方法

（1）原型学习，利用每种类型的token表示，计算均值，作为每个原型type的representation
（2）在无标注数据上，做self training，一个teacher model（在有标注数据上做训练），一个student model（打上soft label）
（3）在无标注数据上，做model的PLM。

论文模型

（a）是最普通的，在有监督数据集上，做NER识别任务-------------------LC
（b）是利用原型网络，学习每个type的表示，利用最近邻原则，在test时，分配给token相应的tag---------------P
（c）是文章认为原始的PLM模型在大规模语料库学习时，采用的任务形式是mask token，这和NER任务并没有直接关系，它导致PLM视所有的token的地位等同，但在NER任务中，entity的地位应该高一些，所以，采用6.8G的维基细粒度实体数据集，重新训练了PLM模型，已达到entity的地位升高的效果----------------------NSP (noisy supervised pre-training)
（d）teacher-student model--------------------------------ST

![在这里插入图片描述](https://img-blog.csdnimg.cn/998d7715097f4bd99f7d019fefe63883.png #pic_center)

实验结果

Testing F1-score curves on 5-shot NER on CONLL-2003 dataset.

IO和BIO schema下的模型性能比较

![在这里插入图片描述](https://img-blog.csdnimg.cn/113956c6ec5142768bc17fbd8ded20a4.png #pic_center)

模型在新实体类型上的迁移能力

论文笔记：Few-Shot Named Entity Recognition: An Empirical Baseline Study相关推荐

论文解读：Example-Based Named Entity Recognition
论文解读:Example-Based Named Entity Recognition 核心要点: 本篇工作是比较早的给出了如何定义和实现few-shot NER任务,后续诸多论文均引用该工作: 本文 ...
[论文阅读笔记14]Nested named entity recognition revisited
一, 题目 Nested Named Entity Recognition Revisited 重访问的嵌套命名实体识别二, 作者 Arzoo Katiyar and Claire Cardie D ...
Template-Based Named Entity Recognition Using BART
场景:Few-Shot Learning + Prompt Learning+PLM(BART)+Transfer Learning Abstract 最近人们对研究少量的NER很感兴趣,其中低资源的 ...
Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture with Att
论文名称:Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture wit ...
【论文笔记-NER综述】A Survey on Deep Learning for Named Entity Recognition
本笔记理出来综述中的点,并将大体的论文都列出,方便日后调研使用查找,详细可以看论文. 神经网络的解释: The forward pass com- putes a weighted sum of th ...
[论文笔记]AAAI-2021-Continual Learning for Named Entity Recognition
[论文笔记] 2021-AAAI-Continual Learning for Named Entity Recognition 0 写在前面什么是持续学习? 我们人类有能够将一个任务的知识用到另一 ...
论文阅读笔记-FGN: Fusion Glyph Network for Chinese Named Entity Recognition
论文地址:paper:https://arxiv.org/ftp/arxiv/papers/2001/2001.05272.pdf github地址:github:https://github.com ...
[论文阅读笔记05]Deep Active Learning for Named Entity Recognition
一,题目 Deep Active Learning for Named Entity Recognition[NER任务的深度主动学习] 来源:ICLR 2018 原文:DEEP ACTIVE LEA ...
[论文阅读笔记44]Named Entity Recognition without Labelled Data：A Weak Supervision Approach
一,题目 Named Entity Recognition without Labelled Data:A Weak Supervision Approach 无标记数据的命名实体识别: 一种弱监督方 ...

论文笔记：Few-Shot Named Entity Recognition: An Empirical Baseline Study