Bert模型全称Bidirectional Encoder Representations from Transformers，主要分为两个部分：1训练语言模型(language model)的预训练(pretrain)部分，2训练具体任务(task)的fine-tune部分。Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。

相比之前的Word Embedding模型,Bert 模型具有双向，多层，随机Mask,并且融合了自然语言处理前沿技术transformer 权重处理多种优点，可以说是ELMO、GPT、Word2Vec的集大成者。具体原理上的理解各位可以移步至张俊林博士解读BERT非常详尽清晰，有助于各位从理论上加深理解Bert的原理。本文主要从Bert实践角度，拎出实用的代码片段，来完成文本情感分类。

首先下载Bert预训练模型：

google公布了一个参数较小的BERT预训练模型，点击下载。文件里有五个文件，其中bert_model.ckpt开头的文件是负责模型变量载入的，而vocab.txt是训练时中文文本采用的字典，最后bert_config.json是BERT在训练时，可选调整的一些参数。

修改 processor

任何模型的训练、预测都是需要有一个明确的输入，而BERT代码中processor就是负责对模型的输入进行处理。我们以分类任务的为例，介绍如何修改processor来运行自己数据集上的fine-tune。在run_classsifier.py文件中我们可以看到，google对于一些公开数据集已经写了一些processor，如XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor。这给我们提供了一个很好的示例，指导我们如何针对自己的数据集来写processor。

对于一个需要执行训练、交叉验证和测试完整过程的模型而言，自定义的processor里需要继承DataProcessor，并重载获取label的get_labels和获取单个输入的get_train_examples,get_dev_examples和get_test_examples函数。其分别会在main函数的FLAGS.do_train、FLAGS.do_eval和FLAGS.do_predict阶段被调用。这三个函数的内容是相差无几的，区别只在于需要指定各自读入文件的地址。

以get_train_examples为例，函数需要返回一个由InputExample类组成的list。InputExample类是一个很简单的类，只有初始化函数，需要传入的参数中guid是用来区分每个example的，可以按照train-%d’%(i)的方式进行定义。text_a是一串字符串，text_b则是另一串字符串。在进行后续输入处理后(BERT代码中已包含，不需要自己完成) text_a和text_b将组合成[CLS] text_a [SEP] text_b [SEP]的形式传入模型。最后一个参数label也是字符串的形式，label的内容需要保证出现在get_labels函数返回的list里。

打开run_classifier.py，在XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor后，可以添加自定义数据处理任务:

Class WeiboProcessor(Dataprocessor):

def get_train_examples(self, data_dir):

file_path = os.path.join(data_dir, 'train.csv')

with open(file_path, 'r') as f:

reader = f.readlines()

examples = []

for index, line in enumerate(reader):

guid = 'train-%d'%index

split_line = line.strip().split(',')

text_a = tokenization.convert_to_unicode(split_line[1])

text_b = tokenization.convert_to_unicode(split_line[2])

label = split_line[0]

examples.append(InputExample(guid=guid, text_a=text_a,

text_b=text_b, label=label))

return examples1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

同时对应判断label为三分类标签，get_labels函数可以写成如下的形式：

def get_labels(self):

return ['0','1',‘2’]1

2

在对get_dev_examples和get_test_examples函数做类似get_train_examples的操作后，便完成了对processor的修改。其中get_test_examples可以传入一个随意的label数值，因为在模型的预测(prediction)中label将不会参与计算。

修改 processor 字典

修改完成processor后，需要在在原本main函数的processor字典里，加入修改后的processor类，即可在运行参数里指定调用该processor。

processors = {

"cola": ColaProcessor,

"mnli": MnliProcessor,

"mrpc": MrpcProcessor,

"xnli": XnliProcessor,

"WeiboProc": WeiboProcessor #添加自己的processor

}1

2

3

4

5

6

7

运行 fine-tune

之后就可以直接运行run_classsifier.py进行模型的训练。在运行时需要制定一些参数，一个较为完整的运行参数如下所示：

python run_classifier.py \

--task_name=selfsim \ #自己添加processor在processors字典里的key名

--do_train=true \

--do_eval=true \

--dopredict=true \

--data_dir=$MY_DATASET \

--vocab_file=$BERT_BASE_DIR/vocab.txt \

--bert_config_file=$BERT_BASE_DIR/bert_config.json \

--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \

--max_seq_length=128 \ #模型参数

--train_batch_size=32 \

--learning_rate=5e-5 \

--num_train_epochs=2.0 \

--output_dir=/tmp/selfsim_output/ #模型输出路径1

2

3

4

5

6

7

8

9

10

11

12

13

14

配置的阿里云ESC云服务器，大概跑了几个小时，部分过程图如下：

train 和 dev 验证结果如下：

eval_accuracy = 0.9049439

eval_loss = 0.30998465

global_step = 1605

loss = 0.309919421

2

3

4

实现预测的话，在python run_classifier.py \中修改相应参数，设置do_predict=true。

以句子向量的形式使用Bert

如果想要将bert模型的编码和其他模型一起使用，将bert模型作为句子向量使用很有意义。我们可以使用bert-as-service来完成这个目标。

安装完bert-as-service以后，就可以利用bert模型将句子映射到固定长度的向量上。在终端中用一下命令启动服务：

bert-serving-start -model_dir /media/ganjinzero/Code/bert/chinese_L-12_H-768_A-12 -num_worker=41

2

model_dir后面的参数是bert预训练模型所在的文件夹。num_worker的数量应该取决于你的CPU/GPU数量。

这时就可以在Python中调用如下的命令：

from bert_serving.client import BertClient

bc = BertClient()

bc.encode(['一二三四五六七八', '今天您吃了吗？'])1

2

3

4

由于GPU深度学习整套装备还没有配置，本人采用了阿里云ESC服务器，选用NGC镜像，配置tf1.0-GPU-TP4,安装了jupyter notebook，整体完成的。

如何各位对配置深度学习环境有疑问，可以留下阿里云账号，我把已经建立好的深度学习环境镜像(包含[tf1.0-gpu,anaconda,])在阿里云站发送给留言的童鞋。

附赠个人的阿里云优惠券目前我是按量和按周，土豪可以包月包年~~任性。

后面我也会更博，专门拆解下如何快速搭建快速可用的深度学习环境。目前以tf1.0-gpu为主。

感谢本文参考来源:

作者：GjZr

https://blog.csdn.net/weixin_43837634/article/details/88049783

作者：奇点机智

链接：https://www.jianshu.com/p/aa2eff7ec5c1