上面是从如下地址中截取的内容：https://www.zybuluo.com/Dounm/note/591752#mjx-eqn-eq4

下面说下我对它的理解

还是以“今天我和小明去北京玩” 这句为例

输入层： “小明”的前后三个词向量，即首先要把这些词全部表示成向量

投影层：将这写词的向量求和，得到的结果就是：

将投影层的向量输入到哈夫曼树中

哈夫曼树怎么来的？将语料库中词以及词出现的频率构造一颗哈夫曼树，默认左边(编码为0)是负类，右边(编码为1)是正类，哈夫曼树的叶子节点就是语料库中的所有的词

将向量Xw输入到哈夫曼树，在每个节点上进行二分类，每个节点上二分类的概率如下

这里的概率是逻辑回归概率模型

那么我们的目标是沿着哈夫曼树找到最终的叶子节点是“小明”，那么就求出走到“小明”这个叶子节点的路径的概率，其实就是将这条路线上的概率全部乘起来，然后极大化这个概率

这里也是采用随机梯度上升法

最后要对各个词的词向量进行更新。另外有一点：

哈夫曼树中，节点之间的连线其实也是一个神经网络连线，两个节点的连线其实也是由很多条连线组成，参数θ是一个权重向量

基于Huffman树的CBOW模型的理解相关推荐

基于Huffman树的文件压缩（详细）
文件压缩开发平台:Visual Studio 2008 开发技术:哈夫曼树,堆排序项目流程: (1)统计要压缩的文件中各字符出现的次数,利用数据结构中的小堆来构建Huffman树,每次在堆顶选出两 ...
基于高频词抽样+负采样的CBOW模型
深度学习入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删. ✨word2vector系列展示✨ 一.CBOW 1.朴素CBOW模型 word2ve ...
word2vec包中cbow模型--学习笔记
基于Hierarchical softmax的CBOW模型网络结构:包括3层,分别为输入层,投影层和输出层假设Context(w)是由词w的前后各c个词组成输入层:包含Context(w)中2c ...
word2vector之CBoW模型详解
深度学习入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删. ✨word2vector系列展示✨ 一.CBOW 1.朴素CBOW模型本篇 2.基于 ...
【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型
系列文章: [word2vec]篇一:理解词向量.CBOW与Skip-Gram等知识 [word2vec]篇二:基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模 ...
【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型
文章目录 CBOW 模型基本结构目标函数梯度计算 Skip-gram 模型基本结构梯度计算优缺点分析系列文章: [word2vec]篇一:理解词向量.CBOW与Skip-Gram等知识 ...
NLP | Word2Vec之基于Negative Sampling的 CBOW 和 skip-gram 模型
前面介绍了基于Hierarchical Softmax的 skip-gram 和 CBOW 模型,虽然我们使用霍夫曼树代替传统的神经网络,可以提高模型训练的效率.但是如果我们的训练样本里的中心词www ...
基于树的机器学习模型的演化
基于树的分类模型是一种监督机器学习算法,它使用一系列条件语句将训练数据划分为子集.每一次连续的分割都会给模型增加一些复杂性,这些复杂性可以用来进行预测.最终结果模型可以可视化为描述数据集的逻辑测试的路 ...
为基于树的机器学习模型构建更好的建模数据集的10个小技巧！
https://www.toutiao.com/a6680019995100971531/ 为了使模型更准确 - 只需对所有分类特征进行独热编码并将所有缺失值归零都可能是不够的. 假设有一个业务问题可 ...

基于Huffman树的CBOW模型的理解

下面说下我对它的理解

基于Huffman树的CBOW模型的理解相关推荐

最新文章

热门文章