深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。

✨word2vector系列展示✨

一、CBOW

1、朴素CBOW模型

word2vector之CBoW模型详解_tt丫的博客-CSDN博客

2、基于分层softmax的CBOW模型

基于分层softmax的CBoW模型详解_tt丫的博客-CSDN博客

3、基于高频词抽样+负采样的CBOW模型

基于高频词抽样+负采样的CBOW模型_tt丫的博客-CSDN博客

二、Skip_Gram

本篇

（关于Skip_Gram的分层softmax和负采样，与CBOW类似）

一、前景知识

二、Skip-gram模型思想

三、Skip-gram模型结构分析

1、网络图

2、网络层次级分析

3、注意点

四、代码实现朴素skip-gram

一、前景知识

这些可以根据需要跳着看

NLP之文本预处理详解_tt丫的博客-CSDN博客

NLP之文本特征提取详解_tt丫的博客-CSDN博客

CBoW模型word2vector之CBoW模型详解_tt丫的博客-CSDN博客

二、Skip-gram模型思想

Skip-gram模型跟CBoW模型是反过来的。

CBoW模型通过上下文来预测当前值，而Skip-gram模型是通过当前值预测上下文。

三、Skip-gram模型结构分析

1、网络图

2、网络层次级分析

（1）Input

输入的是1 * V的one-hot向量x（其中V为词典大小）

（2）Hidden

构建一个大小为V * N的嵌入矩阵W（其中N为词向量的维度），所以用这个W和x相乘，得到最终Hidden的输出，大小为1 * N

（3）Output

构建一个大小为N * V的矩阵W’，用W’和Hidden的输出相乘得到最终的输出，大小为1 * V。

3、注意点

skip-gram的训练过程不是一次性用中心词预测窗口数个词，而是中心词和一个周围词组成一个训练样本。

比如当我们指定窗口为2，那么当前词左右的周围词共有4个。有4个周围词的话就有4个样本，即[中心词，周围词1]、[中心词，周围词2]...…

这也决定了上述朴素skip_gram模型的输出是大小为1 * V。（就是这4个1 * V组成了1个当前词预测出上下文4个词）

四、代码实现朴素skip-gram

word2vector之Skip_Gram模型详解相关推荐

word2vector之CBoW模型详解
深度学习入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删. ✨word2vector系列展示✨ 一.CBOW 1.朴素CBOW模型本篇 2.基于 ...
使用pickle保存机器学习模型详解及实战（pickle、joblib）
使用pickle保存机器学习模型详解及实战 pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议. "Pickling"是将Python对象层次结构转换为字节 ...
Transformer 模型详解
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型,现在比较火热的 Bert 也是基于 Transformer.Transformer 模型使用了 Self- ...
TensorFlow Wide And Deep 模型详解与应用 TensorFlow Wide-And-Deep 阅读344 作者简介：汪剑，现在在出门问问负责推荐与个性化。曾在微软雅虎工作，
TensorFlow Wide And Deep 模型详解与应用 TensorFlow Wide-And-Deep 阅读344 作者简介:汪剑,现在在出门问问负责推荐与个性化.曾在微软雅虎工作,从事 ...
TensorFlow Wide And Deep 模型详解与应用
Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中 [1].wide and dee ...
数学建模——智能优化之模拟退火模型详解Python代码
数学建模--智能优化之模拟退火模型详解Python代码 #本功能实现最小值的求解#from matplotlib import pyplot as plt import numpy as np imp ...
数学建模——智能优化之粒子群模型详解Python代码
数学建模--智能优化之粒子群模型详解Python代码 import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplo ...
数学建模——支持向量机模型详解Python代码
数学建模--支持向量机模型详解Python代码 from numpy import * import random import matplotlib.pyplot as plt import num ...
数学建模——一维、二维插值模型详解Python代码
数学建模--一维.二维插值模型详解Python代码一.一维插值 # -*-coding:utf-8 -*- import numpy as np from scipy import interpol ...

word2vector之Skip_Gram模型详解

一、前景知识

二、Skip-gram模型思想

三、Skip-gram模型结构分析

1、网络图

2、网络层次级分析

3、注意点

四、代码实现朴素skip-gram

word2vector之Skip_Gram模型详解相关推荐

最新文章

热门文章