Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读

本篇是针对《Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter》这篇文章的解析
纯属个人理解欢迎批评指正

首先作者信息

个人理解

个人对这篇文章的理解是，其通过引入一个单词适配器将词汇信息融入到bert 中间，从而将词汇信息加入给BERT
优点在于：1. 采用了word adapter 将词汇信息加入到bert 模型的中间层
2. 采用的融入方法是直接引入，不是模型融合

模型

总体模型图如下图所示：

可以看到，左边为Bert 右边为word 融入部分，通过embedding 得到单词向量，然后加入到 word adapter 中。 word adapter的结构信息如下所示：

左边h是从Bert 内部直接得到的token 的embedding, 右边的是通过lexicon adapter 得到的单词embedding，通过一个双向线性层和残差网络的连接，得到下一层的输出表示。
效果肯定是所有模型里面最优的
然后作者也做了一个对于融入层的研究，结果如下：

Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读相关推荐

BERT相关论文、文章和代码资源汇总
转自:http://www.52nlp.cn/tag/transformer BERT相关论文.文章和代码资源汇总 4条回复 BERT最近太火,蹭个热点,整理一下相关的资源,包括Paper, 代码和文 ...
论文解读：ChineseBERT： Chinese Pretraining Enhanced by Glyph and Pinyin Information
论文解读:ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information(2021ACL) 简要信息: 序号属性 ...
中文NER1 之 simplify the usage of Lexicon in Chinese NER
中文NER1 之 simplify the usage of Lexicon in Chinese NER ACL-simplify the usage of Lexicon in Chinese N ...
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读
LLMs:<Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca>翻译与解读目录相关文章 LLMs:&l ...
论文解读：SpellBERT：A Lightweight Pretrained Model for Chinese Spelling Checking
论文解读:SpellBERT:A Lightweight Pretrained Model for Chinese Spelling Checking 简要信息: 序号属性值 1 模型名称 Spe ...
NLP突破性成果 BERT 模型详细解读 bert参数微调
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读章鱼小丸子不懂算法的产品经理不是好的程序员关注她 82 人赞了该文章 Goo ...
论文解读：《基于BERT和二维卷积神经网络的DNA增强子序列识别transformer结构》
论文解读:<A transformer architecture based on BERT and 2D convolutional neural network to identify DN ...
论文解读：Spelling Error Correction with Soft-Masked BERT
论文解读:Spelling Error Correction with Soft-Masked BERT(2020ACL) 拼写错误纠错是一个比较重要且挑战的任务,非常依赖于人类的语言理解能力.本 ...
论文解读：Correcting Chinese Spelling Errors with Phonetic Pre-training
论文解读:Correcting Chinese Spelling Errors with Phonetic Pre-training(ACL2021) 中文拼写纠错CSC任务具有挑战性,目前的SO ...
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
转载请注明出处:https://blog.csdn.net/nocml/article/details/124860490 传送门: BERT(一)–论文翻译:BERT: Pre-training o ...

Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读

个人理解

模型

Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter 论文解读相关推荐

最新文章

热门文章