基于垂直领域语料，使用MaskLM任务预训练Bert模型

项目介绍

使用Mask LM预训练任务来预训练Bert模型。

基于pytorch框架，训练关于垂直领域语料的预训练语言模型，目的是提升下游任务的表现。

代码及示例数据：https://github.com/wzzzd/Pretrain_Bert_with_MaskLM

预训练任务

Mask Language Model，简称Mask LM，即基于Mask机制的预训练语言模型。

同时支持原生的MaskLM任务和Whole Words Masking任务。默认使用Whole Words Masking。

MaskLM

使用来自于Bert的mask机制，即对于每一个句子中的词（token）：

85%的概率，保留原词不变
15%的概率，使用以下方式替换
- 80%的概率，使用字符[MASK]，替换当前token。
- 10%的概率，使用词表随机抽取的token，替换当前token。
- 10%的概率，保留原词不变。

Whole Words Masking

与MaskLM类似，但是在mask的步骤有些少不同。

在Bert类模型中，考虑到如果单独使用整个词作为词表的话，那词表就太大了。不利于模型对同类词的不同变种的特征学习，故采用了WordPiece的方式进行分词。

Whole Words Masking的方法在于，在进行mask操作时，对象变为分词前的整个词，而非子词。

模型

使用原生的Bert模型作为基准模型。

数据集

项目里的数据集来自wikitext，分成两个文件训练集（train.txt）和测试集（test.txt）。

数据以行为单位存储。

若想要替换成自己的数据集，可以使用自己的数据集进行替换。（注意：如果是预训练中文模型，需要修改配置文件Config.py中的self.initial_pretrain_model和self.initial_pretrain_tokenizer，将值修改成 bert-base-chinese）

自己的数据集不需要做mask机制处理，代码会处理。

训练目标

本项目目的在于基于现有的预训练模型参数，如google开源的bert-base-uncased、bert-base-chinese等，在垂直领域的数据语料上，再次进行预训练任务，由此提升bert的模型表征能力，换句话说，也就是提升下游任务的表现。

环境配置

项目主要使用了Huggingface的datasets、transformers模块，支持CPU、单卡单机、单机多卡三种模式。

可通过以下命令安装依赖包

    pip install -r requirement.txt

主要包含的模块如下：

    python3.6torch==1.3.0tqdm==4.61.2transformers==4.6.1datasets==1.10.2numpy==1.19.5pandas==1.1.3

Get Start

单卡模式

直接运行以下命令

    python train.py

或修改Config.py文件中的变量self.cuda_visible_devices为单卡后，运行

    chmod 755 run.sh./run.sh

多卡模式

如果你足够幸运，拥有了多张GPU卡，那么恭喜你，你可以进入起飞模式。