前文

中文分词、词性标注、命名实体识别是自然语言理解中，基础性的工作，同时也是非常重要的工作。在很多NLP的项目中，工作开始之前都要经过这三者中的一到多项工作的处理。在深度学习中，有一种模型可以同时胜任这三种工作，而且效果还很不错--那就是biLSTM_CRF。

biLSTM，指的是双向LSTM；CRF指的是条件随机场。

biLSTM词性标注

本文是以字为单位进行处理。从下往上看，w0,w1...表示句子里面的字，经过biLSTM处理，输出每个字对应每个标签的分数，我们将最大数值表示对该字预测的标签。既然，biLSTM已经能够进行满足词性标注，那为什么还要再最后加上CRF层呢？

biLSTM词性标注

从这幅图中，可以看出，预测结果明显是错的，那为什么会出现这种错误呢，因为biLSTM只能够预测文本序列与标签的关系，而不能预测标签与标签之间的关系，标签之间的相互关系就是CRF中的转移矩阵。

biLSTM_CRF词性标注

这就是完整的biLSTM_CRF的模型图，文本序列经过biLSTM模型处理，输出结果传入CRF层，最后输出预测结果。

下面，进入正题，biLSTM_CRF模型在tensorflow中的实现。

运行环境

python 3.6

tensorflow 1.2

本文GITHUB 欢迎Star和Fork。

正文

1.数据预处理

2.模型构建

3.模型训练与测试

4.模型验证

5.总结

1.数据预处理

首先是将预测数据进行处理，转成模型能够识别的数字。

数据原格式

数据是以列形式存储，截图翻转了一下。

我从训练文本中，抽取频数在前5000的字，实际只抽取到了4830左右个字。加入'','',''，分别表示填充字符，未知字符，数字字符。一起存入字典。

字典

标签同样也有对应的字典。

# 将tag转换成数字

tag2label = {"O": 0, "B-PER": 1, "I-PER": 2, "B-LOC": 3, "I-LOC": 4, "B-ORG": 5, "I-ORG": 6}

依据字典与标签字典，将文字与标签分别转成数字。第一行是文本，第二行是标签。

文本与标签

下一步是生成batch的操作。

生成batch后，需要对batch内句子padding到统一的长度，并计算每句的真实长度。

2.模型构建

采用双向LSTM对序列进行处理，将输出结果进行拼接。输入shape[batch,seq_Length,hidden_dim]，输出shape[batch,seq_length,2*hidden_dim]。

with tf.name_scope('biLSTM'):

cell_fw = tf.nn.rnn_cell.LSTMCell(pm.hidden_dim)

cell_bw = tf.nn.rnn_cell.LSTMCell(pm.hidden_dim)

outputs, outstates = tf.nn.bidirectional_dynamic_rnn(cell_fw=cell_fw, cell_bw=cell_bw,inputs=self.embedding,

sequence_length=self.seq_length, dtype=tf.float32)

outputs = tf.concat(outputs, 2)#将双向RNN的结果进行拼接

#outputs三维张量，[batchsize,seq_length,2*hidden_dim]

我们从本文的第一幅图中，可以看出，整个biLSTM完整的输出格式是[batch,seq_length,num_tag]。num_tag是标签的数量，本实验中是标签数量是7。所以我们需要一个全连接层，将输出格式处理一下。

with tf.name_scope('output'):

s = tf.shape(outputs)

output = tf.reshape(outputs, [-1, 2*pm.hidden_dim])

output = tf.layers.dense(output, pm.num_tags)

output = tf.contrib.layers.dropout(output, pm.keep_pro)

self.logits = tf.reshape(output, [-1, s[1], pm.num_tags])

self.logits就是需要输入CRF层中的数据。代码的第三行，对output的变形，表示将[batch,seq_length,2hidden_dim]变成[batchseq_length,2*hidden_dim]，最后处理时再变形为[batch,seq_length,num_tag]。

下面就是CRF层的处理：

with tf.name_scope('crf'):

log_likelihood, self.transition_params = crf_log_likelihood(inputs=self.logits, tag_indices=self.input_y, sequence_lengths=self.seq_length)

# log_likelihood是对数似然函数，transition_params是转移概率矩阵

#crf_log_likelihood{inputs:[batch_size,max_seq_length,num_tags],

#tag_indices:[batchsize,max_seq_length],

#sequence_lengths:[real_seq_length]

#transition_params: A [num_tags, num_tags] transition matrix

#log_likelihood: A scalar containing the log-likelihood of the given sequence of tag indices.

这一步，是调用from tensorflow.contrib.crf import crf_log_likelihood函数，求最大似然函数，以及求转移矩阵。最大似然函数前加上"-"，可以用梯度下降法求最小值；

with tf.name_scope('loss'):

self.loss = tf.reduce_mean(-log_likelihood) #最大似然取负，使用梯度下降

转移矩阵可以帮助维特比算法来求解最优标注序列。

def predict(self, sess, seqs):

seq_pad, seq_length = process_seq(seqs)

logits, transition_params = sess.run([self.logits, self.transition_params], feed_dict={self.input_x: seq_pad,

self.seq_length: seq_length,

self.keep_pro: 1.0})

label_ = []

for logit, length in zip(logits, seq_length):

#logit 每个子句的输出值，length子句的真实长度，logit[:length]的真实输出值

# 调用维特比算法求最优标注序列

viterbi_seq, _ = viterbi_decode(logit[:length], transition_params)

label_.append(viterbi_seq)

return label_

3.模型训练与测试

训练时，共进行12次迭代，每迭代4次，将训练得到的结果，保存到checkpoints；loss的情况，保留到tensorboard中；每100个batch,输出此时的训练结果与测试结果。

模型训练

模型的loss由最初在训练集54.93降到2.29，在测试集上由47.45降到1.73。我们看下，保存的模型在验证集上的效果。

4.模型验证

我从1998年的人民网的新闻素材中，随机抽取了几条语句。

模型验证

ORG表示组织名词，LOC表示地理名词,PER表示人名。从验证结果上看，模型在命名实体识别上，效果还可以。

5.总结

模型训练数据从github上获取的，在训练时使用未训练的字向量，不知道使用预训练字向量是否可以提高准确率。受限于电脑的性能，训练数据仅使用50000条；提高机器性能，加大训练数据的量，准确性应该可以进一步提高。写这篇博客，主要是介绍实验过程，希望能够给需要的人带来帮助。

参考