深入理解深度学习——Word Embedding（六）：负采样（Negative Sampling）优化

分类目录：《深入理解深度学习》总目录
相关文章：
· Word Embedding（一）：word2vec
· Word Embedding（二）：连续词袋模型（CBOW, The Continuous Bag-of-Words Model）
· Word Embedding（三）：Skip-Gram模型
· Word Embedding（四）：Skip-Gram模型的数学原理
· Word Embedding（五）：基于哈夫曼树（Huffman Tree）的Hierarchical Softmax优化
· Word Embedding（六）：负采样（Negative Sampling）优化

训练一个神经网络意味着要输入训练样本并不断调整神经元的权重，从而不断提高对目标预测的准确性。神经网络每训练一个样本，该样本的权重就会调整一次。正如《Word Embedding（五）：基于哈夫曼树（Huffman Tree）的Hierarchical Softmax优化》所讨论的， $V$ 的大小决定了神经网络的权重矩阵的具体规模，所有这些权重需要通过数以亿计的训练样本来进行调整，这是非常消耗计算资源的，并且在实际训练过程中，速度会非常慢。

负采样（Negative Sampling）解决了这个问题，它可以提高训练速度并改善所得到词向量的质量。不同于原本需要更新每个训练样本的所有权重的方法，负采样只需要每次更新一个训练样本的一小部分权重，从而在很大程度上降低了梯度下降过程中的计算量。在Hierarchical Softmax优化方法中，负例是二叉树的其他路径，而对于负采样（Negative Sampling）优化，负例是随机挑选出来的。

对于每个训练样本，中心词是 $w$ ，它周围上下文共有 $2 c$ 个词，记为 $context(w)\text{context}(w)$ 。由于这个中心词 $w$ 的确和 $context(w)\text{context}(w)$ 相关存在，因此它是一个真实的正例。通过负采样（Negative Sampling），我们得到 $NEG\text{NEG}$ 个和 $w$ 不同的中心词 $wi(i=1,2,⋯,NEG)w_i(i=1, 2, \cdots, \text{NEG})$ ，这样 $context(w)\text{context}(w)$ 和 $w_i$ 就组成了 $NEG\text{NEG}$ 个并不真实存在的负例。利用这一个正例和 $NEG\text{NEG}$ 个负例，我们进行二元Logistic回归，得到负采样对应每个词 $w_i$ 对应的模型参数 $θi\theta_i$ ，和每个词的词向量。

从《Word Embedding（五）：基于哈夫曼树（Huffman Tree）的Hierarchical Softmax优化》可以看出，负采样（Negative Sampling）优化由于没有采用霍夫曼树，每次只是通过采样 $NEG\text{NEG}$ 个不同的中心词做负例，就可以训练模型，因此整个过程要比Hierarchical Softmax简单。

负采样（Negative Sampling）方法

设词汇表的大小为 $V$ ，那么可以将一段长度为1的线段分成 $V$ 份，每份对应词汇表中的一个词。当然每个词对应的线段长度是不一样的，高频词对应的线段长，低频词对应的线段短。每个词 $w$ 的线段长度由下式决定：
$Length(w)=Count(w)∑u∈CCount(u)\text{Length}(w)=\frac{\text{Count}(w)}{\sum_{u\in C}\text{Count}(u)}$

在word2vec中，分子和分母都取了 $34\frac{3}{4}$ 次幂：
$Length(w)=Count(w)34∑u∈CCount(u)34\text{Length}(w)=\frac{\text{Count}(w)^\frac{3}{4}}{\sum_{u\in C}\text{Count}(u)^\frac{3}{4}}$

在采样前，我们将这段长度为1的线段划分成 $M$ 等份，这里 $M≫VM\gg V$ ，这样可以保证每个词对应的线段都会划分成对应的小块。而 $M$ 份中的每一份都会落在某一个词对应的线段上。在采样的时候，我们只需要从 $M$ 个位置中采样出 $NEG\text{NEG}$ 个位置就行，此时采样到的每一个位置对应到的线段所属的词就是我们的负例词。

深入理解深度学习——Word Embedding（六）：负采样（Negative Sampling）优化相关推荐

深入理解深度学习——Word Embedding（三）：Skip-Gram模型
分类目录:<深入理解深度学习>总目录相关文章: · Word Embedding(一):word2vec · Word Embedding(二):连续词袋模型(CBOW, The Con ...
负采样Negative Sampling
1.噪声对比估计(Noise contrastive estimation) 语言模型中,根据上下文c,在整个语料库V中预测某个单词w的概率,一般采用softmax形式,公式为: NCE:将softm ...
深入理解深度学习——用Embedding处理分类特征
分类目录:<深入理解深度学习>总目录传统机器学习的输入数据中一般含有分类特征,对这些特征或字段的处理是特征工程的重要内容之一.分类(Categorical)特征也被称为离散特征,而机器学 ...
深度学习-Word Embedding的详细理解（包含one-hot编码和cos余弦相似度）
这两天在费劲的研究单词嵌入Embedding,好不容易稍微懂了一点,赶紧记下来省的忘了. ont-hot编码: 一般在输入的时候,都会将所有的单词看作一个向量,只把当前的单词置为1,以下为几组单词表和 ...
详解深度学习之 Embedding
深入理解深度学习之 Embedding 1. 从 one-hot 编码引入 Embedding 在正式介绍 Embedding 之前,我们必须先理解它提出的背景,也就是说研究者提出 Embedding ...
知识图谱-KGE(Knowledge Graph Embedding)：负采样
引言:负采样方法最初是被用于加速 Skip-Gram 模型的训练,后来被广泛应用于自然语言处理 (NLP).计算机视觉 (CV) 和推荐系统 (RS) 等领域,在近两年的对比学习研究中也发挥了重要作用 ...
深入理解深度学习——语境词嵌入（Contextual Word Embedding）
分类目录:<深入理解深度学习>总目录前文介绍了因word2vec而流行的Word Embedding,这种表示方法比离散的独热编码要好很多,因为它不仅降低了维度,还可以反映出语义空间中的 ...
深入理解深度学习——图嵌入（Graph Embedding）
分类目录:<深入理解深度学习>总目录前面的文章介绍了由Word Embedding延伸出的Item Embedding等,这些延伸都建立在它们有序列特性的基础上.其实,可延伸的领域还有很 ...
深入理解深度学习——预训练模型
分类目录:<深入理解深度学习>总目录近些年基于深度学习的NLP技术的重大进展主要包括NNLM(2003).Word Embedding(2013).Seq2Seq(2014).Atten ...

深入理解深度学习——Word Embedding（六）：负采样（Negative Sampling）优化

负采样（Negative Sampling）方法

深入理解深度学习——Word Embedding（六）：负采样（Negative Sampling）优化相关推荐

最新文章

热门文章