【NLP】word2vec负采样

一、理解负采样之前，需要先回顾一下word2vec的训练流程：

1.初始化一个embedding权重矩阵W1（N*D）→2.根据输入单词直接挑出W1矩阵中对应的行向量→3.相加并求平均得一个向量（1*D）→4.和W2矩阵（D*N）相乘得最终预测置信度（1*N）→5.经过softmax得概率（注：N为词典大小，D为词向量维度）。

二、为什么要负采样？

为了解决计算量过大的问题。由于softmax计算分母要求和，在上文【word2vec的训练流程】的第4步时，每预测一个单词，都要进行一次计算，可以看出计算量和词典大小有关（W2矩阵为D“*N），计算量太大啦！

三、负采样是什么？

既然计算量大的事件起因是softmax，解决办法显而易见：把它干掉！用sigmoid函数进行二分类来代替多分类。

具体做法是在上文【word2vec的训练流程】的第4步，每预测一个词时，不和W2矩阵全部相乘，而是选择所要预测的那个词对应的向量（此为正例）+几个其余的词对应的向量（此为负例）。（这里如果不懂需要再抠抠word2vec训练流程的细节）

四、那么，负例如何选择？

依据语料库中对词语频率的统计，让高频单词容易被抽到，稀有单词不容易被抽到，因为稀有单词很难遇到，处理好高频单词才比较重要。

小细节：为了防止低频单词完全被遗忘，可以将各个概率乘以小于1的次方，这样大概率能稍微一点，小概率能稍微大一点（可以根据指数小于1的函数图像来判断）。

以上内容参照深度学习进阶 (豆瓣)，根据个人理解整理而成。

【NLP】word2vec负采样相关推荐

word2vec -- 负采样 -- skip-gram
我以前写过一篇关于word2vec的文章,说实话,写的一坨,我决定以后写博客认认真真的去写. 我的博客来自于网上各位前辈的资料的整理,这位这位和这位翻译的让我对word2vec有了深入的理解.word ...
NLP-词向量(Word Embedding)-2013：Word2vec模型（CBOW、Skip-Gram）【对NNLM的简化】【层次Softmax、负采样、重采样】【静态表示；无法解决一词多义】
一.文本的表示方法 (Representation) 文本是一种非结构化的数据信息,是不可以直接被计算的.因为文本不能够直接被模型计算,所以需要将其转化为向量. 文本表示的作用就是将这些非结构化的信息 ...
word2vec中的负采样问题
在word2vec中最先使用的是softmax函数,由于softmax函数需要在分母上遍历每个单词,在归一化时计算成本高:而且在计算损失函数时,center word 与context word之间最 ...
NLP《词汇表示方法（四）负采样》
一:负采样在CBOW和Skip-Gram模型中,最后输出的都是词汇的one-hot向量,假如我们的词汇表的数量是10000,嵌入空间的维度是300,再假设此时是以Skip-Gram模型只预测cont ...
python word2vec skipgram 负采样_word2vec中的负采样
word2vec中的负采样发布时间:2018-08-23 10:11, 浏览次数:991 , 标签: word vec 1. Hierarchical Softmax的缺点与改进在讲基于Negat ...
深度学习 - 41.Word2vec、EGES 负采样实现 By Keras
目录一.引言二.实现思路 1.样本构建 2.Word2vec 架构 3.EGES 架构 4.基于 NEG 的 Word2vec 架构三.Keras 实现 Word2vec 1.样本构建 2.模型 ...
[nlp] 负采样 nce_loss
论文:http://demo.clab.cs.cmu.edu/cdyer/nce_notes.pdf 参考:求通俗易懂解释下nce loss? - 知乎参考:(三)通俗易懂理解--Skip-gram ...
NLP—word2vec词向量简介
NLP处理的数据都是文字,而文字是无法直接被计算机计算的,于是人们想出了使用独热编码的方式来表示单词. <span style="font-size:16px;">浙江 ...
背景区域为负样本什么意思_词向量-skipgram与负采样
大纲: 1. onehot vs 分布式表示 2. 分布式表示的全局泛化能力 3. how to learn word2vec - intuition 4. SkipGram 5. SkipGram ...

【NLP】word2vec负采样

【NLP】word2vec负采样相关推荐

最新文章

热门文章