摘要

文章设计了一种利用外部词典加强命名实体识别的方法，整个模型大致分为【Inner-Region Encoder】、【Attentive Context Encoder】、【Utterance Encoder】三个部分，模型概略图如下所示：

该模型有助于解决缺乏训练数据的场景

一、模型

【Inner-Region Encoder】: 对应模型图的(a)部分左侧，其使用下式编码实体:

其中 h i A h_i^A hiA为该实体的第一个词， h j A h_j^A hjA为该实体的最后一个词。整个 s i j \mathbf{s_{ij}} sij代表了Name Knowledge.

【Attentive Context Encoder】：对应模型图的(a)右侧部分，其使用下式编码实体：

即使用Name Knowledge的向量作为query vector对句子中的其他单词进行Attention，最后得到的 c i j \mathbf{c_{ij}} cij代表了Context Knowledge

【Gazetteer-Enhanced ANN】：即对应模型图的(b)部分，使用下式进行编码

其中 s s s为sigmoid函数， u u u是通过(1)式得到的实体向量表示，然后通过多标签、多类别交叉熵损失函数对网络进行训练：

二、结果

可以看到，在ACE2005数据集上，该模型较BaseLine有较大的提升，并且也能在Bert模型的基础上进行Fine Tune.

三、疑惑

每一句话的可能的候选区域(比如【George Washington】)是怎么得到的呢？文中似乎没有提到…
式(5)中， g u ′ g_u' gu′是one-hot向量吗，可是见图一(b), 不是可能含有多个Type吗？
命名实体识别的目标是识别出一句话中的实体，但是在这个网络中，要识别的实体已经存在于词典(Gazetteer)中了，也就是我们应该已经知道了实体的类别了，那识别它还有什么用呢？遇到不在Gazetteer中的实体，似乎我们又没办法使用该方法。

论文笔记：Gazetteer-Enhanced Attentive Neural Networks for Named Entity Recognition相关推荐

论文阅读：Multi-view Convolutional Neural Networks for 3D Shape Recognition
Preface 今天阅读一篇ICCV2015的论文:<Multi-view Convolutional Neural Networks for 3D Shape Recognition>, ...
论文阅读笔记-FGN: Fusion Glyph Network for Chinese Named Entity Recognition
论文地址:paper:https://arxiv.org/ftp/arxiv/papers/2001/2001.05272.pdf github地址:github:https://github.com ...
【论文笔记】K-plet Recurrent Neural Networks for Sequential Recommendation
原文:K-plet Recurrent Neural Networks for Sequential Recommendation (本文只是略读,所以笔记只记录了主要的思想,更多的细节还需看原文) ...
[深度学习论文笔记][Adversarial Examples] Deep Neural Networks are Easily Fooled: High Confidence Predictions
Nguyen, Anh, Jason Yosinski, and Jeff Clune. "Deep neural networks are easily fooled: High conf ...
论文笔记：Very deep convolutional networks for large-scale image recognition（VGG）
一.基本信息标题:Very deep convolutional networks for large-scale image recognition 时间:2014 出版源:arXiv 论文领域: ...
论文笔记：Federated Graph Neural Networks: Overview, Techniques and Challenges
论文地址:https://arxiv.org/pdf/2202.07256.pdf 目录一.摘要二.引言三.3层FedGNN分类方法 1.分类方法简述 2.客户端通过图拓扑进行关联 2.1.有中 ...
论文笔记-精读-8.24-Pruning neural networks without any data by iteratively conserving synaptic flow
原文:https://arxiv.org/pdf/2006.05467v1.pdf 代码:https://github.com/ganguli-lab/Synaptic-Flow 文章目录总结解决 ...
论文笔记--Spatial-Temporal Fusion Graph Neural Networks for Traffic Flow Forecasting
在交通预测问题上,现有的框架通常利用给定的空间邻接图和复杂的机制来建模空间和时间关联.作者认为使用给定的空间邻接图会限制模型的有效时空相关性学习,并且它们通常使用单独的模块来实现空间和时间相关性,或者 ...
论文笔记 - 《Very Deep Convolutional Networks For Large-Scale Image Recognition》精典
基于卷积神经网络的图像分类(经典网络) 作者:Karen Simonyan & Andrew Zisserman(两位大神) 单位:牛津大学 (Visual Geometry Group) 发 ...

论文笔记：Gazetteer-Enhanced Attentive Neural Networks for Named Entity Recognition

文章目录

摘要

一、模型

二、结果

三、疑惑

论文笔记：Gazetteer-Enhanced Attentive Neural Networks for Named Entity Recognition相关推荐

最新文章

热门文章