word2vec包中cbow模型--学习笔记

基于Hierarchical softmax的CBOW模型
1. 网络结构：包括3层，分别为输入层，投影层和输出层
  1. 假设Context(w)是由词w的前后各c个词组成
  2. 输入层：包含Context（w）中2c个词的词向量
  3. 投影层：将输入层的2c个向量做求和累加
  4. 输出层对应一个二叉树：以语料中出现过的词当叶子节点，以各词在语料中出现的次数当权值构造出来的huffman树。
2. 特点：对神经概率语言模型对比
  1. 从输入层到投影层的操作上，神经概率模型通过拼接的方式，而CBOW采用累加的方式
  2. 从有无隐藏层来看，神经概率模型有隐藏层，而CBOW没有隐藏层
  3. 从输出层来看，神经概率模型的输出层是线性结构，而CBOW是树形结构，针对神经概率模型大规模的矩阵运算和softmax归一运算，CBOW对其作出了优化，首先去掉了隐藏层，同时输出层改用Huffman树，从而为利用Hierarchical Softmax技术奠定了基础。
3. Hierarchical Softmax技术是word2vec中用于提高性能的一项关键技术
4. 定义条件概率：从根节点到叶子节点的过程中，经历的每个分支都看做一次二分类。且除根节点外，树中每个点都对应了一个取值为0或1的Huffman编码。因此在word2vec中，将编码为0的结点定义为负类，编码为1的点定义为正类。即将一个结点进行分类时，分到左边就是负类，分到右边就是正类。于词典D的任意词w，Huffman 树中必定存在一条从根结点到该词的路径，路径长度为l，则路径上存在l-1个分支，将每一个分支作为二分类，每一次分类产生一个概率，将所有的概率相乘，就得到所需的p(w|Context(w))。
5. word2vec里面采用的是随机梯度上升法（求最小值用梯度下降法，求最大值用梯度上升法）
基于负采样的CBOW模型：
1. 利用随机负采样，大幅提升了计算性能。
2. 在CBOW模型中，已知词w的上下文Context(w)，需要预测w，因此对于给定的Context(w)来说，词w就是一个正样本，其他词就是一个负样本了。
3. 正样本的标签是1，负样本的标签是0.

word2vec包中cbow模型--学习笔记相关推荐

DMU-单性状重复力模型-学习笔记3
单性状重复力模型本次主要是演示如何使用DMU分析单性状重复力模型. 重复力模型和动物模型的区别: 不是所有的性状都可以分析重复力模型, 首先重复力模型是动物模型的拓展, 它适合一个个体多个观测值的情 ...
文本分类模型学习笔记
文本分类模型学习笔记 TextCNN 模型结构 HAN 模型结构实验数据集预处理模型内容模型训练模型测试近年来,深度学习模型在计算机视觉和语音识别中取得了显著成果.在自然语言处理中,深度 ...
anaconda中安装xgboost_ML学习笔记之Anaconda中命令形式安装XGBoost(pip install)
0x00 概述在没有安装XGBoost之前,import xgboot会出错,如下: # ModuleNotFoundError: No module named 'xgboost' 0x01 安装 ...
概率图模型学习笔记：HMM、MEMM、CRF
作者:Scofield 链接:https://www.zhihu.com/question/35866596/answer/236886066 来源:知乎著作权归作者所有.商业转载请联系作者获得授权 ...
Heckman两阶段模型学习笔记
有近两周的时间都在学习Heckman两阶段模型.网上看了一些资料,在CSDN里找到了几篇珍贵的学习笔记,有一篇相当于带我入了门学习笔记 | Heckman两阶段法介绍_Claire_chen_jia的 ...
机器人学中的状态估计——学习笔记
机器人学中的状态估计--学习笔记离散时间的批量估计问题 1.最大后验概率法(Maximum A Posteriori, MAP) 2.贝叶斯推断(Bayesian inference) 离散时间的迭 ...
ARIMA模型学习笔记
ARIMA模型学习笔记目录 ARIMA模型学习笔记 ARIMA模型时间序列平稳性什么是平稳性严平稳弱平稳平稳性检验 ADF检验(Augmented Dickey-Fuller test) ...
机器人学中的状态估计学习笔记（二）第三章线性高斯系统的状态估计
机器人学中的状态估计学习笔记(二)第三章线性高斯系统的状态估计 3.1 离散时间的批量估计问题 3.1.1 问题定义 3.1.2 最大后验估计 3.1.3 贝叶斯推断 3.1.4 存在性.唯一性与能观 ...
Python中索引的学习笔记
1 前言今天在学习FaceBoxes- 看到一个比较奇怪的代码,"order = scores.argsort()[::-1][:args.top_k]",不太懂这个" ...

word2vec包中cbow模型--学习笔记

word2vec包中cbow模型--学习笔记相关推荐

最新文章

热门文章