经过可乐老师的教诲之后打算focus NER方向，没想到第一篇就是复旦的

摘要和总结

Lattice-LSTM虽然达到了sota，但是模型结构非常复杂，限制了其在工业上的应用，本文提出一个简单且高效的模型，融合了词汇信息到字编码中，避免了复杂的序列建模结构。而且对于任何神经NER模型，只需要对字表示层进行微调来引入词汇信息。

推理速度是之前sota模型的六倍，表现跟之前的sota相当

模型

embedding

char embedding

$x_i^c = [ e^c(c_i);e^b(c_i,c_{i+1})]$

where $e^c$ denotes the character embedding lookuptable.
where $e^b$ denotes the bigram embedding lookup table.

Incorporating Lexicon Information

简单的char-based NER模型并没有发掘词信息，所以本文提出一种方法将词信息加入到其中

ExSoftword Feature

把每一个字和其所有可能的NER位置拼接到一起，这种方法的缺点是可能有多种组合方式而导致我们无法判断要恢复的正确结果。

SoftLexicon
基于Exsoftword，本文提出一种新的方法来加入词汇信息，通过以下三步

Categorizing the matched words.
加入以这个字开头，中间，结尾，单字作为词的信息
Condensing the word sets.
这里有两种方法，实验证明第一种方法并不好，我只记录第二种
这里权重乘以4而不是1，个人的理解是因为这个向量是对单独S进行计算的，而Z却是BMES四个词汇集合，所以要乘以4
Combining with character representation.

Sequence Modeling Layer

如之前的图，没啥好解释的

Label Inference Layer

一个CRF层，同样没什么好说的

实验

推理速度大幅提升

评价

之所以这个模型能这么快，主要是因为应用了统计信息，这部分时间在训练推理之前就花掉了，所以只需要嗯跑就行了，但是这种模式是否能在工业上应用我觉得还不太好说

Raki的读paper小记：Simplify the Usage of Lexicon in Chinese NER相关推荐

中文NER1 之 simplify the usage of Lexicon in Chinese NER
中文NER1 之 simplify the usage of Lexicon in Chinese NER ACL-simplify the usage of Lexicon in Chinese N ...
Simplify the Usage of Lexicon in Chinese NER阅读笔记
基于之前Lattice LSTM的问题进行改进 Lattice LSTM虽然达到了SOTA 但是模型结构非常复杂限制了在工业上的应用这篇提出了一个简化且高效的模型融合了词汇信息到字编码中避免了 ...
Raki的读paper小记：Prompting ELECTRA: Few-Shot Learning with Discriminative Pre-Trained Models
Abstract&Introduction&Related Work 研究任务基于提示学习的ELECTRA 已有方法和相关工作 ELECTRA 面临挑战基于判别模型的预训练模型的f ...
Raki的读paper小记：OFA: UNIFYING ARCHITECTURES, TASKS, AND MODALITIES THROUGH A SIMPLE Seq2Seq FRAMEWORK
Abstract&Introduction&Related Work 研究任务多模式预训练的统一范式包括图像生成.visual-grounding(visual grounding ...
Raki的读paper小记：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
Abstract&Introduction&Related Work 研究任务语言+视觉模态预训练任务已有方法和相关工作 masked data已经成为一种主流面临挑战现有的多 ...
Raki的读paper小记：Named Entity Recognition without Labelled Data: A Weak Supervision Approach（半成品）
Abstract & Introduction & Related Work 研究任务无标注数据NER学习已有方法和相关工作 Unsupervised domain adaptat ...
Raki的读paper小记：Forget-free Continual Learning with Winning Subnetworks
Abstract&Introduction&Related Work 研究任务用子网络做CL 已有方法和相关工作彩票假说(LTH)证明了稀疏子网络(称为中奖彩票)的存在,这些子网络 ...
Raki的读paper小记：Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Nets
Abstract&Introduction&Related Work 研究任务 Continual Learning 已有方法和相关工作面临挑战创新思路利用持续学习过程中的持续稀 ...
Stetman读paper小记：ATTEQ-NN
注:本周笔者阅读了龚雪鸾.陈艳娇的文章ATTEQ-NN:Attention-based QoE-aware Evasive Backdoor Attacks.本文讲了作者设计的一种基于注意力机制的后门 ...
Stetman读paper小记：BackdoorBench - A Comprehensive Benchmark of Backdoor Learning
之前因为参与了实验室后门攻击的项目,阅读了一下这篇关于后门学习的综合性基准测试的研究工作,在此记录一下学习笔记与心得. 1 摘要这篇文章介绍了一个名为BackdoorBench的基准测试,用于评估后 ...

Raki的读paper小记：Simplify the Usage of Lexicon in Chinese NER