nlp基础—12.LSTM-CRF模型介绍

文章目录

引言
一、模型介绍
- 1. LSTM模型
- 2. BI-LSTM（双向LSTM）模型
- 3.CRF模型
- 4. LSTM+CRF模型
- 5. BiLSTM+CRF模型

引言

本文讨论的是序列标注问题，所使用的模型是将两种现有的模型(LSTM+CRF)进行拼接，一种模型是双向LSTM模型，一种是CRF模型。下面介绍如何结合LSTM和CRF用于sequence tagging，并且对这些结合的效果进行测量。

一、模型介绍

本篇文章涉及以下几种模型：LSTM,BI-LSTM,CRF,LSTM+CRF,BI-LSTM+CRF。BiLSTM-CRF模型通过双向LSTM有效地捕捉到了输入的过去和未来特征。它也可以通过CRF层使用到句子级的标注信息。BiLSTM-CRF在POS(词性标记)、NER(命名实体识别)数据集上都取得了很好的效果。另外，与之前的工作相比，它更健壮，依赖于更少的词向量。

1. LSTM模型

在实际建模中，RNN 经常出现梯度爆炸或梯度消失等问题，因此我们一般使用长短期记忆单元或门控循环单元代替基本的 RNN 循环体。它们引入了门控机制以遗忘或保留特定的信息而加强模型对长期依赖关系的捕捉，它们同时也大大缓解了梯度爆炸或梯度消失的问题。循环网络的每一个隐藏层都有多个循环单元，隐藏层 ht−1h_{t-1}ht−1 的向量储存了所有该层神经元在t−1t-1t−1 步的激活值。一般标准的循环网络会将该向量通过一个仿射变换并添加到下一层的输入中，即 W∗ht−1+U∗XtW* h_{t-1}+U* X_tW∗ht−1+U∗Xt。而这个简单的计算过程由于重复使用 W 和 U 而会造成梯度爆炸或梯度消失。因此我们可以使用门控机制控制前一时间步隐藏层保留的信息和当前时间步输入的信息，并选择性地输出一些值而作为该单元的激活值。之所以叫“门”结构，是因为使用 sigmoid 作为激活函数的全连接神经网络层会输出一个 0 到 1 之间的数值，描述当前输入有多少信息量可以通过这个结构。于是这个结构的功能就类似于一扇门，当门打开时（sigmoid 全连接层输出为 1 时），全部信息可以通过；当门关上时（sigmoid 神经网络层输出为 0 时），任何信息都无法通过。

LSTM 有三个门，分别是“遗忘门”（forget gate）、“输入门”（input gate）和“输出门”（output gate）。
“遗忘门”的作用是让循环神经网络“忘记”之前没有用的信息，控制以前记忆的信息到底需要保留多少

“输入门”决定哪些信息进入当前时刻的状态，分为以前保留的信息加上当前输入有意义的信息

通过“遗忘门”和“输入门”，LSTM 结构可以很有效地决定哪些信息应该被遗忘，哪些信息应该得到保留。且更新当前时刻状态C_t，输入与输入门对应元素相乘表示当前时刻需要添加到C_t的记忆，前一时间步的记忆 C_t-1 与遗忘门 f_t 对应元素相乘就表示了需要保留或遗忘的历史信息是多少，最后将这两部分的信息相加在一起就更新了记忆C_t的信息。

LSTM 在得到当前时刻状态 Ct 之后，需要产生当前时刻的输出，该过程通过“输出门”完成。
LSTM 的内部状态向量