John likes to watch movies. Mary likes movies too.

John also likes to watch football games.

那么则有如下word的向量表示：

One-hot方法很简单，但是它的问题也很明显：

1）它没有考虑单词之间相对位置的关系；

2）词向量可能非常非常长！

针对第一个问题，你可能会想到n-gram方法，这确实是一个策略，但是它可能会导致计算量的急剧增长。因为n-gram已经在之前的文章中解释过了，下面我们来看另外一个方法：共现矩阵 (Cocurrence matrix)。

一个非常重要的思想是，我们认为某个词的意思跟它临近的单词是紧密相关的。这是我们可以设定一个窗口（大小一般是5~10），如下窗口大小是2，那么在这个窗口内，与rests 共同出现的单词就有life、he、in、peace。然后我们就利用这种共现关系来生成词向量。

例如，现在我们的语料库包括下面三份文档资料：

I like deep learning.

I like NLP.

I enjoy flying.

作为示例，我们设定的窗口大小为1，也就是只看某个单词周围紧邻着的那个单词。此时，将得到一个对称矩阵——共现矩阵。因为在我们的语料库中，I 和 like做为邻居同时出现在窗口中的次数是2，所以下表中I 和like相交的位置其值就是2。这样我们也实现了将word变成向量的设想，在共现矩阵每一行（或每一列）都是对应单词的一个向量表示。

• “国王” – “王后” ≈ “男” – “女”
• “英国” – “伦敦” ≈ “法国” – “巴黎” ≈ “首都”

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)import nltk
corpus = nltk.corpus.brown.sents()fname = 'brown_skipgram.model'
if os.path.exists(fname):# load the file if it has already been trained, to save repeating the slow training step belowmodel = gensim.models.Word2Vec.load(fname)
else:# can take a few minutes, grab a cuppamodel = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50) model.save(fname)

现在已经得到模型了，接下来我们来评估一下这个模型的质量。我们要评估一下下面这几个词之间的相近（或伴随）程度。

words = "woman women man girl boy green blue did".split()
for w1 in words:for w2 in words:print(w1, w2, model.similarity(w1, w2))

输出的结果如下：

woman woman 1.0
woman women 0.3451595268
woman man 0.607956254336
woman girl 0.761190251497
woman boy 0.558522930154
woman green 0.24118403927
woman blue 0.178044251325
woman did 0.0751838683173
women woman 0.3451595268
women women 1.0
women man 0.126646555737
women girl 0.292825346454
women boy 0.298552943639
women green 0.104096393379
women blue 0.0930137564485
women did 0.152766770859
注意：输出内容较长，这里不全部列出，读者可以执行尝试并观察输出结果... ...

当然，你也可能希望有一个更直观的表示，所以不妨试试图形化的结果显示：

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inlineM = np.zeros((len(words), len(words)))
for i, w1 in enumerate(words):for j, w2 in enumerate(words):M[i,j] = model.similarity(w1, w2)plt.imshow(M, interpolation='nearest')
plt.colorbar()ax = plt.gca()
ax.set_xticklabels([''] + words, rotation=45)
ax.set_yticklabels([''] + words)

所绘制的结果如下：

model.most_similar(positive=['woman'], topn=10)

输出之结果如下：

[('girl', 0.7611901760101318),('man', 0.6079562902450562),('lady', 0.6069421768188477),('boy', 0.5585228800773621),('child', 0.5556907653808594),('person', 0.5444432497024536),('young', 0.5219132900238037),('pair', 0.5211296081542969),('she', 0.5175711512565613),('fellow', 0.5115353465080261)]

现在你也可以试着来玩一下Word2Vec啦！