什么是Word Embeddings

2019独角兽企业重金招聘Python工程师标准>>>

注：因为很喜欢一个博文，就把它部分翻译过来，原作者网名叫NSS。他的这篇博文的名字是： “An Intuitive Understanding of Word Embeddings: From Count Vectors to Word2Vec”. 原网址如下：https://www.analyticsvidhya.com/blog/2017/06/word-embeddings-count-word2veec/

注：这里只捡自己喜欢的部分写出来。

1 什么是Word Embeddings

我们知道计算机不认识字符串，所以我们需要将文字转换为数字。Word Embedding就是来完成这样的工作。定义：A Word Embedding format generally tries to map a word using a dictionary to a vector。

2 Word Embeddings们

既然我们用向量来表示一个词或词语，那么这种表示一定不止有一种方式，所以在这里总结一下不同的表示。

2.1 Frequency based Embedding

在这个分类下有三个小分类.

Count Vector
TF-IDF Vector（不翻译，略过）
Co-Occurrence Vector（不翻译，略过）

2.1.1 Count Vector

我们先举一个例子。先观察以下两句话，D1： He is a lazy boy. She is also lazy. D2： Neeraj is a lazy person. 这两句话一共有6个不同的单词，我们按照如下的方式来分下一下这6个单词在这两句话中的分布情况：

Fig 0.

这张表中的数字表示某个单词在某个句子中出现的次数，比如He在D1中出现1词，在D2中出现0词，如此等等。这时我们就可以看到He这个单词可以形成一个向量，[1，0]，向量中的每个元素代表这个单词出现在某句话中的次数。

2.2 Prediction based Vector

2.2.1 CBOW (Continuous Bag of words)

CBOW这个模型是给定一个context的条件下，预测在该context下出现某个词的概率。假设我们有一句话：“I like Julia”，我们把context window设置为1，也就是我们只考虑一个词的前一个词或后一个词，然后这句话可以转换成Fig 1中的形式。右侧的矩阵是Input的unicode.

Fig 1. 注：原图太复杂，在这里我用了一个简单的例子。

这些数据点被传递给一个神经网络，如图Fig 2所示，输出层是一个softmax层，用来计算概率。流程是：输入被映射到一个低维的向量，比如如Fig 3所示。得到这个二维向量后，再用一个矩阵将它转换成一个三维矩阵，这个三维矩阵经过softmax后就是我们的output。经过优化后得到的向量就是我们所求的向量。

Fig 2.

Fig 3.

注：这里的基本的思想是，一个词=它所处的环境（没有看出，这里的=是等于号）。恩，好有哲理的一句话。比如我们要判断某个人属于哪一个阶级，只需要看他的朋友圈就可以知道。比如在我们的例子中，当给我们一个context的时候，比如‘I’，那么这个context对应一个单词“like”。在这里我们的windows设置为1，也就是仅仅考虑一个词的前后词，当我们将windows设置为2的时候，Julia的context就变成了I和like，这个时候的Input就成了两个向量，也就是I向量和like向量，这两个向量分别经过W和W`两个矩阵的作用，得到两个vector，这个时候取这两个向量的平均值就是得到我们的output vector，最后经过softmax变换就可以得到最后的结果。如图Fig4所示。

Fig 4.

2.2.2 Skip – Gram model

这个方法正好和上边的方法相反，当给定我们一个word的时候，我们用这种方法来计算它的context。如Fig 5.2所示。比如我们有句话： ”Hey, this is sample corpus using only one context word.” 让我们构建training data:

Fig 5.

Fig 5.2

因为我们定义了context window=1，也就是该词的前后应该分别对应一个词，如Fig 5所示。

注意的是，在这里我们有两个输出，分别对应前后两个词。计算流程如Fig6-Fig 8所示.

Fig 6.

Fig 7.

Fig 8.

转载于:https://my.oschina.net/u/2935389/blog/2981037