实战是学习一门技术最好的方式，也是深入了解一门技术唯一的方式。因此，NLP专栏计划推出一个实战专栏，让有兴趣的同学在看文章之余也可以自己动手试一试。

本篇介绍自然语言处理中一种非常重要的任务：命名实体识别。因为最常见的是Bilstm+CRF模型进行实体识别，本文介绍介绍另外一种有效的模型，Dilated-CNN+CRF模型，但是两种模型的代码都会给出。

作者&编辑 | 小Dream哥

笔者在这篇文章中，曾经系统的介绍过命名实体识别任务的相关概念和语料标注方式，不了解的同学可以先阅读这篇文章：

关于Bilstm和Dilated-CNN两个模型理论方面的内容，笔者在这篇文章中做了详细的介绍，不了解的同学可以先阅读这篇文章：

话不多说，既然是实战篇，我们就赶紧开始吧。

1) 查看数据格式

先了解一下数据格式，方便后面进行处理。如下图所示，语料为标准的BIO标注方式，每个字和标记之间用空格隔开，语料之间用一个空行隔开。

2）读取训练数据

上面这个函数是用来读取训练，测试，验证数据的，该函数返回一个列表，如下图所示：

3) 标记格式转化

因为原始语料用的是BIO标注方法，但是BIOES标注形式包含了实体内更多的位置和边界信息，最好将其转化为BIOES的形式，方法如下：

看看效果如何：

4）构造字典

经过上述步骤，虽然我们将数据读到了一个列表里组织了起来，但是一个一个的汉字及其标签，后面的LSTM或者CNN网络是没有办法处理的，需要进行词嵌入。在此之前需要构造2个字典，汉字字典和标签字典，然后将上面的汉字和标签转化成字典里的序号。看看代码是怎么做的：

上述过程并不难理解，大家好好看看，我们看看生成的字典：

5) 根据字典组织好训练数据

训练时，应该是输入汉字序列，然后预测出一个BIO序列，所以我们的输入数据还需要整理，将汉字和标记分开，得到汉字序列及其标记序列，并且要将汉字及其标记转换成他们在字典里的序号，转化结果如下：

至此，我们将训练数据结构化的组织了起来，放在一个大列表里，并且列表里的数据通过生成的字典转化成了id。

1）word embedding

我们将语料中的中文换成了他们在字典里的ID，了解词向量的同学都知道我们还需要对词进行词嵌入，后面的深度学习模型才能进行处理。不了解的同学可以找词向量的文章看一下。

下面看看如何实现：

也许有同学会问，这里的词向量表是随机初始化的。如果我之前训练好了一份词向量，该如何使用呢？可以在定义好模型之后，char_lookup.assign函数为该词向量表赋值，参考如下：

通过embedding_layer，就将形状为[bacth_size, seq_length]的输入数据转化为形状为[bacth_size, seq_length，embeding_dim]的矩阵了。词向量化几乎是所有自然语言处理任务所必须要经过的步骤，读者务必弄明白。

2）构建dilated CNN模型

首先，做一些数据的维度变化，并做一次CNN特征提取。

重复做卷积操作进行特征提取，膨胀卷积可以扩大卷积核的感受野，提高卷积操作对长序列特征的提取能力。同时加深深度，也可以进一步提高特征提取能力。如下，repeat times为4，dilation数组为[1,1,2]。

3）project层

用一个中间层，将CNN的输出转化为shape为[batch_size, num_steps, num_tags]的输出，后面可以接softmax作为输出，也可以接crf计算loss

4）CRF层计算loss

采用CRF计算损失几乎是序列标注问题的标准做法，关于CRF的相关问题，笔者在机器学习模型介绍条件随机场CRF一文中做了详细介绍，不了解的读者可以出门看看。

在main文件开头的参数配置中，选择train为True:

执行python main.py即可以开始进行训练，学习率，batch_size，dropout等超参数，读者可以自行调整。

训练开始后，会有如下的打印信息，读者可以观察loss下降的趋势。

训练结束后，会在ckpt文件夹生成模型文件。

在main文件开头的参数配置中，选择train为False:

我们看看结果是怎么样的：

输入“明天我想去深圳市”模型将“明天”作为TIME提取出来了，将“深圳市”作为LOC提取出来了。

至此，介绍了如何利用构建DI-CNN模型进行命名实体识别，代码在我们有三AI的github可以下载：https://github.com/longpeng2008/yousan.ai/tree/master/natural_language_processing

找到ner文件夹，执行python3 main.py就可以训练或者测试了。

总结

转载文章请后台联系

侵权必究