一、LSTM-CRF模型

1、LSTM

LSTM（长短期记忆神经网络）能够学习长的依赖关系，将以前的信息连接到当前任务中。

LSTM存储信息的能力由门结构控制：

1、丢弃信息

LSTM的第一步是决定我们要从细胞状态中丢弃什么信息，该决定由遗忘门实现，它查看ht-1(前一个输出)和xt(当前输入)，并为单元格状态Ct-1(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留，而0代表彻底删除。

2、存储信息

下一步是决定我们要在细胞状态中存储什么信息。这部分分为两步。首先，称为“输入门层”的Sigmoid层决定了我们将更新哪些值。接下来一个tanh层创建候选向量Ct,该向量将会被加到细胞的状态中。

丢弃历史无效信息，添加新的信息后，当前状态信息为：

3、信息输出

最后，我们需要决定我们要输出什么。此输出将基于我们的单元格状态，但将是一个过滤版本。首先，我们运行一个sigmoid层，它决定了我们要输出的细胞状态的哪些部分。然后，我们将单元格状态通过tanh（将值规范化到-1和1之间），并将其乘以Sigmoid门的输出，至此我们只输出了我们决定的那些部分

2、CRF

LSTM 层的输出是每个标签的分数，我们可以选择得分最高的标签。

最终是无效的输出“I-Organization I-Person O I-Organization I-Person”。CRF 层通过学习标签的概率转移矩阵，可以向最终的预测标签添加一些约束。

如上表所示，我们可以发现转移矩阵已经学习了一些有用的约束：

句子中第一个单词的标签应该以“B-”或“O”开头，而不是“I-”开头**(从“START”到“I- person 或 I- organization”的 transition 分数非常低)**
“B-label1 I-label2 I-label3 I-…”，在这个模式中，label1、label2、label3…应该是相同的命名实体标签。例如，“B-Person I-Person”是有效的，但是“B-Person I-Organization”是无效的。(例如，从“B-Organization”到“I-Person”的分数只有 0.0003，比其他分数低很多)
“O I-label”无效。一个被命名实体的第一个标签应该以“B-”而不是“I-”开头，换句话说，有效的模式应该是“O B-label”(同样，tO,I−Person的分数非常小)

二、损失函数

损失函数由两部分组成，P是LSTM得到的标签预测得分，是一个n*k维的矩阵，其中n指字符个数，k指标签个数，A是CRF得到的标签转移得分：

所有可能的标签路径中正确路径标签分数值最高：

参考文献：

Neural Architectures for Named Entity Recognition

LSTM网络：https://www.jianshu.com/p/4b4701beba92

CRF：https://www.6aiq.com/article/1585415235824

命名实体识别NER:LSTM-CRF模型相关推荐

零基础入门--中文命名实体识别（BiLSTM+CRF模型，含代码）
https://github.com/mali19064/LSTM-CRF-pytorch-faster 中文分词说到命名实体抽取,先要了解一下基于字标注的中文分词. 比如一句话 "我爱北 ...
命名实体识别NER遗留问题----模型构建
深度学习模型预测实质:训练保存的模型里面参数整个只有一套参数不仅保存了训练数据全部的正确信息,而且同字多义的情况下通过其同行的词来判断,虽然参数都是一套但是因为输入的值不同导致计算的结果不同导致 ...
信息抽取实战：命名实体识别NER【ALBERT+Bi-LSTM模型 vs. ALBERT+Bi-LSTM+CRF模型】（附代码）
实战:命名实体识别NER 目录实战:命名实体识别NER 一.命名实体识别(NER) 二.BERT的应用 NLP基本任务查找相似词语提取文本中的实体问答中的实体对齐三.ALBERT ALBER ...
用CRF做命名实体识别——NER系列（三）
在上一篇文章<用隐马尔可夫模型(HMM)做命名实体识别--NER系列(二)>中,我们使用HMM模型来做命名实体识别,将问题转化为统计概率问题,进行求解.显然,它的效果是非常有限的. 在深度 ...
用隐马尔可夫模型(HMM)做命名实体识别——NER系列（二）
上一篇文章里<用规则做命名实体识别--NER系列(一)>,介绍了最简单的做命名实体识别的方法–规则.这一篇,我们循序渐进,继续介绍下一个模型--隐马尔可夫模型. 隐马尔可夫模型,看上去,和 ...
NLP入门（八）使用CRF++实现命名实体识别(NER)
CRF与NER简介 CRF,英文全称为conditional random field, 中文名为条件随机场,是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机 ...
逐行讲解CRF实现命名实体识别(NER)
文章标题本文概述 NER介绍代码详解任务导入库加载数据集构造特征字典数据处理模型训练模型验证模型参数备注随机搜索RandomizedSearchCV 本文概述使用sklear ...
隐马尔可夫模型(HMM)实现命名实体识别(NER)
隐马尔可夫模型(HMM)实现命名实体识别(NER) 一.命名实体识别(Named Entity Recognition,NER) 识别文本中具有特定意义的实体,包括人名.地名.机构名.专有名词等等在 ...
NLP命名实体识别NER数据准备及模型训练实例
NLP命名实体识别NER数据准备及模型训练实例目录 NLP命名实体识别NER数据准备及模型训练实例方案一
代码实现中文命名实体识别（包括多种模型：HMM，CRF，BiLSTM，BiLSTM+CRF）
作者 | 忆臻地址 | https://zhuanlan.zhihu.com/p/100969186 专栏 | 机器学习算法与自然语言处理代码实现中文命名实体识别(包括多种模型:HMM,CRF,B ...

命名实体识别NER:LSTM-CRF模型

一、LSTM-CRF模型

1、LSTM

2、CRF

二、损失函数

命名实体识别NER:LSTM-CRF模型相关推荐

最新文章

热门文章