如何在深度学习中使用开源Chinese Word Vectors

摘要:Chinese-Word-Vectors开源项目提供了100多种预训练模型，但在深度学习中使用时，加载预训练向量存在词表重复项问题。本文着重于解决加载问题。

1. 起因

去年半年一直在搭建我的NLP练习项目——为语音识别文本进行标点恢复，使用的技术如下所示：

词向量训练
BiLSTM
CRF

但是上面的技术在训练网络的时候，词向量是在训练中不断训练得到的。一方面这样的词向量更配合网络的结构，具有任务特定性；但是另一方面，受限于语料大小和计算资源，直接由自己的数据集训练出的词向量肯定是不够泛化，不够强健的。

2. Chinese-Word-Vectors技术方案存在的问题

时至今日，在2019年bert横扫NLP任务之后，使用预训练模型已经不再稀奇。使用预训练的模型可以用更少的训练资源得到较好的效果。即使是使用传统的word2vec也能有效提高模型的泛化性。

Chinese-Word-Vectors是北京师范大学和人民大学的研究者开源出来的100多个中文预训练词向量，所有向量都是在word2vec和skip-gram上训练出来的。

久仰大名，码下很久，但是未尝亲自试用。亲自使用后，便发现了一些问题。

如何读取从Chinese-Word-Vectors下载下来的词向量？
读取时发现词表有重复，导致存入python字典中后，导致词表大小和训练好的词向量矩阵不一致？
读取到的词向量矩阵如何载入到深度学习模型的词嵌入矩阵embedding中？

果然纸上得来终觉浅，绝知此事要躬行。

3. 问题解决方式

词向量文件本身是以文本方式存储的，第一行是词向量size信息，后面每一行是每个词和它的词向量。通过使用ngram2vec工具中的代码可以加载词向量（Chinese-Word-Vectors也使用了ngram2vec工具来训练）:

def load_dense(path):vocab_size, size = 0, 0vocab = {}vocab["i2w"], vocab["w2i"] = [], {}with codecs.open(path, "r", "utf-8") as f:first_line = Truefor line in f:if first_line:first_line = Falsevocab_size = int(line.strip().split()[0])size = int(line.rstrip().split()[1])matrix = np.zeros(shape=(vocab_size, size), dtype=np.float32)continuevec = line.strip().split()vocab["i2w"].append(vec[0])# vocab的length不断增长matrix[len(vocab["i2w"])-1, :] = np.array([float(x) for x in vec[1:]])for i, w in enumerate(vocab["i2w"]):vocab["w2i"][w] = ireturn matrix, vocab, size

词表重复问题，是实际加载词向量中遇到的比较麻烦的问题，重复的词表导致无法用字典来索引每个词对应的词向量，所以上一步的词向量加载，实际上应该考虑重复问题：

def load_dense_drop_repeat(path):vocab_size, size = 0, 0vocab = {}vocab["i2w"], vocab["w2i"] = [], {}count = 0with codecs.open(path, "r", "utf-8") as f:first_line = Truefor line in f:if first_line:first_line = Falsevocab_size = int(line.strip().split()[0])size = int(line.rstrip().split()[1])matrix = np.zeros(shape=(vocab_size, size), dtype=np.float32)continuevec = line.strip().split()if not vocab["w2i"].__contains__(vec[0]):vocab["w2i"][vec[0]] = countmatrix[count, :] = np.array([float(x) for x in vec[1:]])count += 1for w, i in vocab["w2i"].items():vocab["i2w"].append(w)return matrix, vocab, size, len(vocab["i2w"])

如何将得到的此向量矩阵matrix载入到torch中的embedding中？（上一步中，为了减少每次读matrix的耗时，可以将matrix用numpy保存到npy文件）:

    emb = np.load(emb)print('emb的shape:', emb.shape)self.embedding = nn.Embedding(vocab_size, embedding_size)self.embedding.weight.data.copy_(torch.from_numpy(emb))self.embedding.weight.requires_grad = True

4. 总结

总的来看Chinese-Word-Vectors预训练数据是有其价值的，减少了很多的训练资源。但是由于自然语言处理的文本本身具有非常大的噪声，很难保证词向量是完美的、不包含任何错字和重复。

在使用Chinese-Word-Vectors过程中，尽量要匹配好自己的需求。

使用Chinese-Word-Vectors作为pytorch中的预训练向量相关推荐

Pytorch中更改预训练权重文件的下载位置
目录 1. 参考链接 2. 更改方法 3. 一个小技巧 1. 参考链接 Pytorch更改预训练权重下载位置 pytorch---修改预训练模型下载路径 2. 更改方法在线加载的预训练权重默认存放位 ...
PyTorch在NLP任务中使用预训练词向量
在使用pytorch或tensorflow等神经网络框架进行nlp任务的处理时,可以通过对应的Embedding层做词向量的处理,更多的时候,使用预训练好的词向量会带来更优的性能.下面分别介绍使用ge ...
在Keras的Embedding层中使用预训练的word2vec词向量
文章目录 1 准备工作 1.1 什么是词向量? 1.2 获取词向量 2 转化词向量为keras所需格式 2.1 获取所有词语word和词向量 2.2 构造"词语-词向量"字典 2. ...
神经网络 Embedding层理解； Embedding层中使用预训练词向量
1.Embedding层理解高维稀疏特征向量到低维稠密特征向量的转换:嵌入层将正整数(下标)转换为具有固定大小的向量:把一个one hot向量变为一个稠密向量参考:https://zhuanlan ...
github设置中文_【Github】100+ Chinese Word Vectors 上百种预训练中文词向量
(给机器学习算法与Python学习加星标,提升AI技能) 该项目提供了不同表征(密集和稀疏)上下文特征(单词,ngram,字符等)和语料库训练的中文单词向量.开发者可以轻松获得具有不同属性的预先训练的 ...
pytorch中查看可训练参数
pytorch中我们有时候可能需要设定某些变量是参与训练的,这时候就需要查看哪些是可训练参数,以确定这些设置是成功的. pytorch中model.parameters()函数定义如下: de ...
使用PyTorch中的预训练模型进行图像分类
PyTorch的TorchVision模块中包含多个用于图像分类的预训练模型,TorchVision包由流行的数据集.模型结构和用于计算机视觉的通用图像转换函数组成.一般来讲,如果你进入计算机视觉和使 ...
pytorch 中混合精度训练（真香）
一.什么是混合精度训练在pytorch的tensor中,默认的类型是float32,神经网络训练过程中,网络权重以及其他参数,默认都是float32,即单精度,为了节省内存,部分操作使用float1 ...
如何在深度学习过程中使用预训练的词表征（持续更新ing...）
诸神缄默不语-个人CSDN博文目录本文介绍在深度学习中如何应用预训练的词表征(word2vec等),应用到的框架包括numpy.PyTorch和TensorFlow 不同形式,见到了就补充总结一下. ...

使用Chinese-Word-Vectors作为pytorch中的预训练向量