2021-10-18word2vec训练过程

word2vec训练过程
先介绍一下word2vec的训练过程，目的是想说明这个算法拆解开步骤并不多，初学的时候听说这是deep learning的应用，就感觉高深莫测，其实并不会。

1.准备语料

2.扫描语料库，统计每个词出现的次数，并保存到一个hash表。

3.根据各词的词频简历哈夫曼树。哈夫曼树中每个叶子结点都有一个权值。且所有野子节点的权值乘上其到根节点路径的长度的累加和最小。

5.迭代最优化，训练。回到语料库，逐一读取一系列的词，后用梯度下降法算出梯度

STEP 1:为了训练出词向量，肯定要先准备好语料，巧妇难为无米之炊嘛。我们先将中文语料分好词，分词的方法有很多，这里就不细说了。再去除一些无意义的词，比如纯数字1523523523，乱码fasdfkalsjfwek等等，这样得到的结果看起来会更干净。如果是用google开源的word2vec实现，那就将所有语料保存在一个文本里，可以所有词用一行表示，也可以有换行符\n，google的代码里自动将换行符替换为<\s>了，所以在结果词向量里会看到这么一个词，不要觉得奇怪。

STEP 2:扫描语料库，统计每个词出现的次数，保存在一个hash表里。

STEP 3: 根据各词的词频建立哈夫曼树。哈夫曼树是一棵最优二叉树，哈夫曼树中的每个叶子节点都有一个权值，并且所有叶子节点的权值乘上其到根节点路径的长度的累加和最小。因此权值较大的叶子节点往往比较靠近根节点。每个词汇最终都是哈夫曼树的叶子节点，词频就是相应的权值，所有的非叶子节点代表了某一类的词，如下图中的Wsyn1Wsyn1，每一个Wsyn1Wsyn1也是与叶子节点的词一样，为KK维的向量。哈夫曼树建立好以后，每个词都会有一个二进制的哈夫曼编码，用于表示从根节点到该词汇的路径。比如我们假设往左子节点走编码为0，往右为1，下图中红框内的词的哈夫曼编码就是101。

STEP 4: 初始化词向量与哈夫曼树非叶子节点的向量。向量的维度是我们给定的参数KK，google的代码里将词向量的每个维度都随机初始化为±0.00X±0.00X，将非叶子节点每个维度初始化为0。word2vec最终得到的是词向量，但并不是执行一系列复杂的运算，在最终算出一堆的词向量，词向量在一开始就已经存在了，整个运算过程只是不断的迭代优化，让被随机初始化的词向量在词向量空间里逐渐挪到属于它自己的位置。

STEP 5:训练，也就是迭代最优化。再回到语料库，逐句的读取一系列的词，然后用梯度下降算出梯度，再更新词向量的值、非叶子节点处向量的词。通常神经网络训练过程，会指定max epoch，与early stop的patience，并且独立保存一个验证集，用于每一个epoch后用验证集算一下error，然后用early stop策略来控制是否停止训练。但是word2vec的实现更简单粗暴，如果语料文档读完了，就终止，或者是每个线程遍历过的词数超过了一个值。

word2vec用的是神经网络模型，分为两种，cbow与skip-gram，每个模型的训练方法又分别有两种，hierarchical sofmax与negative sampling。

2021-10-18word2vec训练过程相关推荐

2021/10/11 训练赛1 的个人小结
比赛在HDU进行,网址入口是User Login,密码是acm加训练室号码 1. POJ 1260 Pearls 珍珠线性DP 问题描述在珍珠岛,每个人都喜欢珍珠.一家名为" ...
HRBU 2021年暑期训练阶段二Day3
目录 A - Shuffle'm Up 题目链接: 题意: 做法: B - Prime Path 题目链接: 题意: 做法: C - Function Run Fun 题目链接: 题意: 做法: D ...
谷歌BERT预训练源码解析（三）：训练过程
目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程,BERT模型训练过程是在自己的TPU上进行的,这部分我没做过研究所以不做深入探讨.BE ...
深度学习模型训练过程
深度学习模型训练过程一．数据准备基本原则: 1)数据标注前的标签体系设定要合理 2)用于标注的数据集需要无偏.全面.尽可能均衡 3)标注过程要审核整理数据集 1)将各个标签的数据放于不同的文件夹 ...
【CV】Pytorch一小时教程添加损失函数图像可视化训练过程
Pytorch一小时教程中的图像分类器(GPU版本)的原代码为: import torch.optim as optim import torch import torchvision import ...
浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
PyTorch下的可视化工具（网络结构/训练过程可视化）
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | 锦恢@知乎来源 | https://zhuanlan.z ...
手把手教你洞悉 PyTorch 模型训练过程，彻底掌握 PyTorch 项目实战！（文末重金招聘导师）...
(文末重金招募导师) 在CVPR 2020会议接收中,PyTorch 使用了405次,TensorFlow 使用了102次,PyTorch使用数是TensorFlow的近4倍. 自2019年开始,越来 ...
谷歌大脑提出对智能体进行「正向-反向」强化学习训练，加速训练过程
原文来源:arXiv 作者:Ashley D. Edwards.Laura Downs.James C. Davidson 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 在强化学习问题中,关 ...
DeepLearning tutorial（2）机器学习算法在训练过程中保存参数
FROM: http://blog.csdn.net/u012162613/article/details/43169019 DeepLearning tutorial(2)机器学习算法在训练过程中保 ...

2021-10-18word2vec训练过程

2021-10-18word2vec训练过程相关推荐

最新文章

热门文章