CS224N WINTER 2022（一）词向量（附Assignment1答案）
CS224N WINTER 2022（二）反向传播、神经网络、依存分析（附Assignment2答案）
CS224N WINTER 2022（三）RNN、语言模型、梯度消失与梯度爆炸（附Assignment3答案）
CS224N WINTER 2022（四）机器翻译、注意力机制、subword模型（附Assignment4答案）
CS224N WINTER 2022（五）Transformers详解（附Assignment5答案）

序言

CS224N WINTER 2022课件可从https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1224/下载，也可从下面网盘中获取：
```
https://pan.baidu.com/s/1LDD1H3X3RS5wYuhpIeJOkA
提取码: hpu3
```
本系列博客每个小节的开头也会提供该小结对应课件的下载链接。
课件、作业答案、学习笔记（Updating）：GitHub@cs224n-winter-2022
关于本系列博客内容的说明：
- 笔者根据自己的情况记录较为有用的知识点，并加以少量见解或拓展延申，并非slide内容的完整笔注；
- CS224N WINTER 2022共计五次作业，笔者提供自己完成的参考答案，不担保其正确性；
- 由于CSDN限制博客字数，笔者无法将完整内容发表于一篇博客内，只能分篇发布，可从我的GitHub Repository中获取完整笔记，本系列其他分篇博客发布于（Updating）：
  
  CS224N WINTER 2022（一）词向量（附Assignment1答案）
  
  CS224N WINTER 2022（二）反向传播、神经网络、依存分析（附Assignment2答案）
  
  CS224N WINTER 2022（三）RNN、语言模型、梯度消失与梯度爆炸（附Assignment3答案）
  
  CS224N WINTER 2022（四）机器翻译、注意力机制、subword模型（附Assignment4答案）
  
  CS224N WINTER 2022（五）Transformers详解（附Assignment5答案）

文章目录

序言
- lecture 1 词向量
- - slides
  - notes
  - suggested readings
  - gensim word vectors example
  - assignment1 参考答案
- lecture 2 词向量与单词窗口分类
- - slides
  - notes
  - suggested readings
  - additional readings
  - python review session

lecture 1 词向量

slides

[slides]

以WordNet为例的词库存在的缺陷：slides p.15
- 难以辨别单词间细微差别：同义词列表缺少适当性语境范围标注。
- 缺失单词的最新含义；
- 编纂具有主观性；
- 需要耗费人力进行更新与应用；
- 难以应用于精确计算单词相似度；
分布语义学（Distributional semantics）：slides p.18

单词含义可由频繁出现在其附近的单词推定，即通过上下文语境来建模单词表示。
Word2Vec（2013年）词向量1模型的思想：slides p.21
- 已有目标语言的足量语料库与给定的词汇表；
- 目的是将给定词汇表中的每个单词表示为一个向量；
- 对于语料库的每一个单词 $c$ （称为中心词），获取其上下文语境 $o$ （若干语境词构成）；
- 使用单词 $c$ 的词向量与语境 $o$ 中各个单词的词向量的相似度来计算在给定 $c$ 的条件下出现 $o$ 的概率（或反过来在给定 $o$ 的条件下出现 $c$ 的概率，即mask的思想）；
- 不断调整词向量使得④中的条件概率尽可能的大；
Word2Vec模型的目标函数：slides p.25
$minimize{uwi,vwi}i=1∣v∣J(θ)=−1T∑t=1T∑−m≤j≤m,j≠0log⁡P(wt+j∣wt;θ)(1.1)\text{minimize}_{\{u_{w_i},v_{w_i}\}_{i=1}^{|v|}}\quad J(\theta)=-\frac1T\sum_{t=1}^T\sum_{-m\le j\le m,j\neq0}\log P(w_{t+j}|w_t;\theta)\tag{1.1}$

其中概率 $P$ （称为预测函数）的计算方式如下：

$P(o∣c)=exp⁡(uo⊤vc)∑w∈Vexp⁡(uw⊤vc)(1.2)P(o|c)=\frac{\exp(u_o^\top v_c)}{\sum_{w\in V}\exp(u_w^\top v_c)}\tag{1.2}$

根据assignment2中的说法，这个结果可以理解为是真实的单词概率分布 $y$ 向量与预测的单词概率分布 $y^\hat y$ 向量之间的交叉熵。

式中变量说明：

① $T$ 表示语料库规模（即文本长度）；

② $V$ 表示词汇表；

③ $m$ 表示上下文窗口大小；

④ $w_i$ 表示在第 $i$ 个位置上的单词；

⑤ $v_w$ 表示单词 $w$ 作为中心词的词向量；

⑥ $u_w$ 表示单词 $w$ 作为语境词的词向量；

⑦ $θ\theta$ 表示超参数；

Word2Vec模型中每个单词都有两个词向量，最终将两个词向量取均值作为模型输出的词向量。

因此式 $(1.1)$ 中决策变量总数为 $2 d ∣ V ∣$ ，其中 $d$ 为给定的词向量嵌入维度。

由于变量数量非常多，因此通常选择随机梯度下降法求解Word2Vec模型。
Word2Vec模型预测函数偏导结果的重要意义：slides p.29-32
$∂P(o∣c)∂vc=∂∂vclog⁡exp⁡(uo⊤vc)∑w∈Vexp⁡(uw⊤vc)=∂∂vclog⁡exp⁡(uo⊤vc)−∂∂vclog⁡(∑w∈Vexp⁡(uw⊤vc))=∂∂vcuo⊤vc−1∑w∈Vexp⁡(uw⊤vc)⋅∂∂vc∑x∈Vexp⁡(ux⊤vc)=uo−1∑w∈Vexp⁡(uw⊤vc)⋅∑x∈V∂∂vcexp⁡(ux⊤vc)=uo−1∑w∈Vexp⁡(uw⊤vc)⋅∑x∈Vexp⁡(ux⊤vc)∂∂vcux⊤vc=uo−1∑w∈Vexp⁡(uw⊤vc)∑x∈Vexp⁡(ux⊤vc)ux=uo−∑x∈Vexp⁡(ux⊤vc)∑w∈Vexp⁡(uw⊤vc)ux=uo−∑x∈VP(x∣c)ux=observed−expected(1.3)\begin{aligned} \frac{\partial P(o|c)}{\partial v_c}&=\frac{\partial}{\partial v_c}\log\frac{\exp(u_o^\top v_c)}{\sum_{w\in V}\exp(u_w^\top v_c)}\\ &=\frac{\partial}{\partial v_c}\log\exp(u_o^\top v_c)-\frac{\partial}{\partial v_c}\log\left(\sum_{w\in V}\exp(u_w^\top v_c)\right)\\ &=\frac{\partial}{\partial v_c}u_o^\top v_c-\frac{1}{\sum_{w\in V}\exp(u_w^\top v_c)}\cdot\frac{\partial}{\partial v_c}\sum_{x\in V}\exp(u_x^\top v_c)\\ &=u_o-\frac{1}{\sum_{w\in V}\exp(u_w^\top v_c)}\cdot\sum_{x\in V}\frac{\partial}{\partial v_c}\exp(u_x^\top v_c)\\ &=u_o-\frac{1}{\sum_{w\in V}\exp(u_w^\top v_c)}\cdot\sum_{x\in V}\exp(u_x^\top v_c)\frac{\partial}{\partial v_c}u_x^\top v_c\\ &=u_o-\frac{1}{\sum_{w\in V}\exp(u_w^\top v_c)}\sum_{x\in V}\exp(u_x^\top v_c)u_x\\ &=u_o-\sum_{x\in V}\frac{\exp(u_x^\top v_c)}{\sum_{w\in V}\exp(u_w^\top v_c)}u_x\\ &=u_o-\sum_{x\in V}P(x|c)u_x\\ &=\text{observed}-\text{expected} \end{aligned}\tag{1.3}$
求解式 $(1.1)$ 时通常使用梯度下降法，需要计算预测函数 $P$ 的梯度。从式 $(1.3)$ 可以看出，偏导值的意义是观测值（即观测到的中心词词向量）与期望值（根据上下文推断的词向量）的差值。
Word2Vec模型的变体：slides p.42
- Skip-grams（SG）：给定中心词来预测语境词的分布概率；
- Continuous Bag of Words（CBOW）：通过词袋形式的语境词来预测中心词的分布概率；
关于这两个模型详看本节notes部分第2点的相关内容。

notes

[notes]

基于奇异值分解的词向量建模方法：notes p.3-5

基本思想是通过构建与词汇表相关的矩阵 $X∈R∣V∣×nX\in\R^{|V|\times n}$ （ $V$ 为词汇表），进行奇异值分解 $X=UDW⊤X=UDW^\top$ 后，将左奇异向量矩阵 $U∈R∣V∣×kU\in\R^{|V|\times k}$ 作为词向量输出。其中 $k$ 的取值可以通过主奇异值占比进行划定：
$∑i=1kσi∑i=1∣V∣σi(1.4)\frac{\sum_{i=1}^k\sigma_i}{\sum_{i=1}^{|V|}\sigma_i}\tag{1.4}$
一些常用的矩阵 $X$ 构建：
- 单词—文档矩阵，其中 $X_{ij}$ 表示单词 $i$ 在文档 $j$ 中的出现次数；
- 基于窗口的共现矩阵，其中 $X_{ij}$ 表示单词 $i$ 与单词 $j$ 在指定窗口大小下同时出现的次数；
奇异值方法可能存在的问题：
- 矩阵 $X$ 维度可能会经常变化（新单词新文档经常会出现）；
- 矩阵 $X$ 极度稀疏；
- 矩阵 $X$ 维度极大；
- 奇异值分解本身计算复杂度较高；
- 为平衡单词出现频数，往往需要对矩阵 $X$ 进行针对性处理（incorporation of some hacks）；
缓解上述问题的一些常用方法：
- 去除停用词；
- 在基于窗口的共现矩阵方法中，出现次数可以根据单词距离进行加权（即距离越远，权重越低）；
- 使用皮尔森相关性并设置负采样；我理解负采样可以缓解稀疏的问题，如两个单词不共现可以赋负值
基于迭代的方法：notes p.6-14
- 语言模型（LM）：预测文本整体出现的概率。
  
  Unigram模型：
  $P(w1,w2,...,wn)=∏i=2nP(wi)(1.5)P(w_1,w_2,...,w_n)=\prod_{i=2}^nP(w_i)\tag{1.5}$
  Bigram模型：
  $P(w1,w2,...,wn)=∏i=2nP(wi∣wi−1)(1.6)P(w_1,w_2,...,w_n)=\prod_{i=2}^nP(w_i|w_{i-1})\tag{1.6}$
- 连续词袋模型（CBOW）：根据上下文预测中心词，类似词袋模型，但是使用连续向量表示，因而得名。
  
  标记定义：
  - $n$ ：词向量维度；
  - $v_w$ ：输入向量，即 $w$ 作为语境词时的词向量；
  - $u_w$ ：输出向量，即 $w$ 作为中心词时的词向量；
  - $V∈Rn×∣V∣\mathcal{V}\in\R^{n\times|V|}$ ：输入单词的嵌入矩阵， $v_i$ 表示第 $i$ 列（单词 $w_i$ 的输入向量）；
  - $U∈R∣V∣×n\mathcal{U}\in\R^{|V|\times n}$ ：输出单词的嵌入矩阵， $u_i$ 表示第 $i$ 行（单词 $w_i$ 的输出向量）；
  模型用法：
  
  ① 对输入的上下文构建one-hot词向量： $x(c−m),...,x(c−1),x(c+1),...,x(c+m)∈R∣V∣x^{(c-m)},...,x^{(c-1)},x^{(c+1)},...,x^{(c+m)}\in\R^{|V|}$
  
  ② 将 $(1.7)$ 中的one-hot词向量转换为输入向量： $Vx(c−m),...,Vx(c+m)∈Rn\mathcal{V}x^{(c-m)},...,\mathcal{V}x^{(c+m)}\in\R^n$
  
  ③ 将 $(1.8)$ 中的上下文输入向量取均值：
  $v^=12m∑−m≤i≤m,i≠0Vx(c+i)∈Rn(1.7)\hat v=\frac1{2m}\sum_{-m\le i\le m,i\neq0}\mathcal{V}x^{(c+i)}\in\R^n\tag{1.7}$
  ④ 生成得分向量： $z=Uv^∈R∣V∣z=\mathcal{U}\hat v\in\R^{|V|}$
  
  ⑤ 转为softmax概率分布向量（即得到中心词的概率分布）： $y^=softmax(z)∈R∣V∣\hat y=\text{softmax}(z)\in\R^{|V|}$
  
  ⑥ 我们期望生成的概率分布 $y^\hat y$ 能够匹配真实的概率分布 $y$ （可以统计全语料库得到）；
  
  现在的问题是需要已知 $U\mathcal{U}$ 与 $V\mathcal{V}$ 才能进行上述应用，因此需要定义目标函数来学习两个词嵌入矩阵：
  $minimizeJ=−log⁡P(wc∣wc−m,...,wc−1,wc+1,...,wc+m)=−log⁡P(uc∣v^)=−log⁡exp⁡(uc⊤v^)∑j=1∣V∣exp⁡(uj⊤v^)=−uc⊤v^+log⁡∑j=1∣V∣exp⁡(uj⊤v^)(1.8)\begin{aligned} \text{minimize}\quad J&=-\log P(w_c|w_{c-m},...,w_{c-1},w_{c+1},...,w_{c+m})\\ &=-\log P(u_c|\hat v)\\ &=-\log \frac{\exp(u_c^\top\hat v)}{\sum_{j=1}^{|V|}\exp(u_j^\top \hat v)}\\ &=-u_c^\top\hat v+\log\sum_{j=1}^{|V|}\exp(u_j^\top\hat v) \end{aligned}\tag{1.8}$
  这里将 $v^\hat v$ 视为上下文的一个表示，这种近似处理显然是很不精准的，但是可以得到可以简明求解的显式目标函数。
- Skip-Gram模型（SG）：根据中心词预测上下文。
  
  标记定义：
  - $n$ ：词向量维度；
  - $v_w$ ：输入向量，即 $w$ 作为语境词时的词向量；
  - $u_w$ ：输出向量，即 $w$ 作为中心词时的词向量；
  - $V∈Rn×∣V∣\mathcal{V}\in\R^{n\times|V|}$ ：输入单词的嵌入矩阵， $v_i$ 表示第 $i$ 列（单词 $w_i$ 的输入向量）；
  - $U∈R∣V∣×n\mathcal{U}\in\R^{|V|\times n}$ ：输出单词的嵌入矩阵， $u_i$ 表示第 $i$ 行（单词 $w_i$ 的输出向量）；
  模型用法：
  
  ① 生成中心词的one-hot向量： $x∈R∣V∣x\in \R^{|V|}$
  
  ② 转换为中心词的输入向量： $vc=Vx∈Rnv_c=\mathcal{V}x\in\R^n$
  
  ③ 生成得分向量： $z=Uvc∈R∣V∣z=\mathcal{U}v_c\in\R^{|V|}$
  
  ④ 转换为softmax概率分布向量（即上下文的概率分布）： $y^=sofmax(z)∈R∣V∣\hat y=\text{sofmax}(z)\in\R^{|V|}$
  
  ⑤ 这里 $y^c−m,...y^c−1,y^c+1,...,y^c+m\hat y_{c-m},...\hat y_{c-1},\hat y_{c+1},...,\hat y_{c+m}$ 分别对应上下文各个位置单词的概率分布；
  
  ⑥ 我们同样期望它与真实分布接近；
  
  这里课件里可能写错，感觉应该要生成 $2 m$ 个得分向量才行，不然有些说不通。
  
  同样需要定义目标函数来计算 $U\mathcal{U}$ 与 $V\mathcal{V}$ ：
  $minimizeJ=−log⁡P(wc−m,...,w(c−1),w(c+1),...,w(c+m)∣wc)=−log⁡∏j=0,j≠m2mP(wc−m+j∣wc)=−log⁡∏j=0,j≠m2mP(uc−m+j∣vc)=−log⁡∏j=0,j≠m2mexp⁡(uc−m+j⊤vc)∑k=1∣V∣exp⁡(uk⊤vc)=−∑j=0,j≠m2muc−m+j⊤vc+2mlog⁡∑k=1∣V∣exp⁡(uk⊤vc)(1.9)\begin{aligned} \text{minimize}\quad J&=-\log P(w_{c-m},...,w_{(c-1)},w_{(c+1)},...,w_{(c+m)}|w_c)\\ &=-\log\prod_{j=0,j\neq m}^{2m}P(w_{c-m+j}|w_c)\\ &=-\log\prod_{j=0,j\neq m}^{2m}P(u_{c-m+j}|v_c)\\ &=-\log\prod_{j=0,j\neq m}^{2m}\frac{\exp(u^{\top}_{c-m+j}v_c)}{\sum_{k=1}^{|V|}\exp(u_k^\top v_c)}\\ &=-\sum_{j=0,j\neq m}^{2m}u_{c-m+j}^\top v_c+2m\log\sum_{k=1}^{|V|}\exp(u_k^\top v_c) \end{aligned}\tag{1.9}$
  这里同样做近似处理，其实本质上是交叉熵损失。
- 负采样（suggested readings的第2篇paper）：CBOW与SG的目标函数求解计算复杂度太高。
  
  因此每一步迭代无需遍历整个词汇表，只需采样若干负样本。
  
  具体而言，以SG模型为例， $(w, c)$ 是一组中心词 $w$ 与上下文 $c$ ， $D$ 是正语料库， $D~\tilde D$ 是负语料库（可以理解为假数据，即不是人话的语料），定义：
  
  ① $P (D = 1 ∣ w, c)$ 为 $(w, c)$ 出现在语料库中的概率；
  
  ② $P (D = 0 ∣ w, c)$ 为 $(w, c)$ 没有出现在语料库中的概率；
  
  则可以利用激活函数建模：
  $P(D=1∣w,c,θ)=σ(vc⊤vw)=11+e−vc⊤vwP(D=0∣w,c,θ)=1−σ(vc⊤vw)=11+evc⊤vw(1.10)\begin{aligned} P(D=1|w,c,\theta)&=\sigma(v_c^\top v_w)=\frac1{1+e^{-v_c^\top v_w}}\\ P(D=0|w,c,\theta)&=1-\sigma(v_c^\top v_w)=\frac1{1+e^{v_c^\top v_w}} \end{aligned}\tag{1.10}$
  最大似然法求解参数 $θ\theta$ ：
  $θ=argmaxθ∏(w,d)∈DP(D=1∣w,c,θ)∏(w,d)∈D~P(D=0∣w,c,θ)=argmaxθ∑(w,c)∈Dlog⁡11+exp⁡(−uw⊤vc)+∑(w,c)∈D~log⁡11+exp⁡(uw⊤vc)(1.11)\begin{aligned} \theta&=\text{argmax}_\theta\prod_{(w,d)\in D}P(D=1|w,c,\theta)\prod_{(w,d)\in\tilde D}P(D=0|w,c,\theta)\\ &=\text{argmax}_\theta\sum_{(w,c)\in D}\log\frac{1}{1+\exp(-u_w^\top v_c)}+\sum_{(w,c)\in\tilde D}\log\frac{1}{1+\exp(u_w^\top v_c)} \end{aligned}\tag{1.11}$
  对于SG模型，负采样的目标函数（给定中心词 $c$ ，观测到上下文位置 $c - m + j$ 单词）发生变化：
  $−uc−m+j⊤vc+log⁡∑k=1∣V∣exp⁡(uk⊤vc)⟶−log⁡σ(uc−m+j⊤vc)−∑k=1Klog⁡σ(−u~kvc)(1.12)-u_{c-m+j}^\top v_c+\log \sum_{k=1}^{|V|}\exp(u_k^\top v_c)\longrightarrow-\log\sigma(u_{c-m+j}^\top v_c)-\sum_{k=1}^K\log \sigma(-\tilde u_{k}v_c)\tag{1.12}$
  对于CBOW模型，负采样的目标函数（给定上下文 $v^\hat v$ ，观测中心词 $u_c$ ）发生变化：
  $−uc⊤v^+log⁡∑j=1∣V∣exp⁡(uj⊤v^)⟶−log⁡σ(uc⊤v^)−∑k=1Klog⁡σ(−u~k⊤v^)(1.13)-u_c^\top\hat v+\log\sum_{j=1}^{|V|}\exp(u_j^\top\hat v)\longrightarrow -\log\sigma(u_c^\top \hat v)-\sum_{k=1}^K\log\sigma(-\tilde u_k^\top \hat v)\tag{1.13}$
  其中 ${u~∣k=1,...,K}\{\tilde u|k=1,...,K\}$ 采样自噪声分布 $P_n(w)$
- 分层softmax（suggested readings的第2篇paper）：
  
  这个感觉不是很重要，我理解是softmax向量可能太长，因此可以分层处理，如每次计算两分类的概率分布，以二叉树的形式不断累进，于是复杂度可以由 $O (∣ V ∣)$ 变为 $O(log⁡∣V∣)O(\log |V|)$

gensim word vectors example

[code] [[preview](http://web.stanford.edu/class/cs224n/materials/Gensim word vector visualization.html)]

关于Gensim库对GloVe词向量可视化的小demo，可作入门学习使用。

其中使用的GloVe词向量项目主页可见https://nlp.stanford.edu/projects/glove/。

demo中使用的GloVe.6B可以从https://nlp.stanford.edu/data/glove.6B.zip处下载得到。

demo中最后使用PCA对给定集合的单词词向量进行降维后取前二的主成分值在二维平面上进行可视化，近似刻画单词之间的距离。

import numpy as np# Get the interactive Tools for Matplotlib
%matplotlib notebook
import matplotlib.pyplot as plt
plt.style.use('ggplot')from sklearn.decomposition import PCAfrom gensim.test.utils import datapath, get_tmpfile
from gensim.models import KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vecglove_file = datapath('/Users/manning/Corpora/GloVe/glove.6B.100d.txt')
word2vec_glove_file = get_tmpfile("glove.6B.100d.word2vec.txt")
glove2word2vec(glove_file, word2vec_glove_file)model = KeyedVectors.load_word2vec_format(word2vec_glove_file)
model.most_similar('obama')
model.most_similar('banana')
model.most_similar(negative='banana')result = model.most_similar(positive=['woman', 'king'], negative=['man'])
print("{}: {:.4f}".format(*result[0]))def analogy(x1, x2, y1):result = model.most_similar(positive=[y1, x2], negative=[x1])return result[0][0]analogy('japan', 'japanese', 'australia')
analogy('australia', 'beer', 'france')
analogy('obama', 'clinton', 'reagan')
analogy('tall', 'tallest', 'long')
analogy('good', 'fantastic', 'bad')
print(model.doesnt_match("breakfast cereal dinner lunch".split()))def display_pca_scatterplot(model, words=None, sample=0):if words == None:if sample > 0:words = np.random.choice(list(model.vocab.keys()), sample)else:words = [ word for word in model.vocab ]word_vectors = np.array([model[w] for w in words])twodim = PCA().fit_transform(word_vectors)[:,:2]plt.figure(figsize=(6,6))plt.scatter(twodim[:,0], twodim[:,1], edgecolors='k', c='r')for word, (x,y) in zip(words, twodim):plt.text(x+0.05, y+0.05, word)display_pca_scatterplot(model, ['coffee', 'tea', 'beer', 'wine', 'brandy', 'rum', 'champagne', 'water','spaghetti', 'borscht', 'hamburger', 'pizza', 'falafel', 'sushi', 'meatballs','dog', 'horse', 'cat', 'monkey', 'parrot', 'koala', 'lizard','frog', 'toad', 'monkey', 'ape', 'kangaroo', 'wombat', 'wolf','france', 'germany', 'hungary', 'luxembourg', 'australia', 'fiji', 'china','homework', 'assignment', 'problem', 'exam', 'test', 'class','school', 'college', 'university', 'institute'])display_pca_scatterplot(model, sample=300)

assignment1 参考答案

[code] [preview]

Assignment1参考答案：囚生CYのGitHub Repository

可将nltk_data下载至本地，GitHub@NLTK链接中的package文件夹即为nltk_data（如果GitHub下载太慢可自行搜索网盘资源），下载后将package文件夹名称重命名为nltk_data，并设置NLTK_DATA环境变量为nltk_data文件夹以便于使用（如若不想设置环境变量可以将nltk_data文件夹移动到任意磁盘的根目录下，nltk工具包默认会搜索这些路径，如D:/nltk_data）。

注意package文件夹下所有的语料、分词器、模型等文件都已打包，如若需要使用通常需要对指定的压缩包进行解压，如assignment1中使用到的reuters语料，需要提前将corpora目录下的reuters.zip解压到当前文件夹才能正常使用。

此外建议下载GloVe词向量（https://nlp.stanford.edu/projects/glove/）至本地，JupyterNotebook中的已作相关注释，注意查阅。

笔者使用的gensim版本3.8.1，经验上感觉gensim4.x.x版本与gensim3.x.x版本差别较大（比如gensim4.x.x版本完全找不到BM25算法的接口），建议尽量使用3.x.x版本。

lecture 2 词向量与单词窗口分类

slides

[slides]

**直接在原始的共线计数（co-occurence counts）上进行奇异值分解效果会很差！**slide p.18

比如LSA话题模型（使用单词—文档矩阵），会先将单词—文档矩阵中统计得到的频数使用TFIDF算法转化为TFIDF的指标值，然后再进行奇异值分解。

理论解释是频数的分布过于离散，可以使用一些方法先将它们映射到某个固定区间上，如可以取对数，设定最大限值，去除高频停用词等。
两类词向量对比：slides p.20
- 基于计数方法的词向量（如LSA模型）：实现简单快速，但仅仅捕获单词相似性，应用效果不好。
- 基于直接预测的词向量（如CBOW模型）：相对训练较慢，但可以捕获复杂的语义模式，应用效果更好。
对数双线性模型：slides p.23
$wi⋅wj=log⁡P(i∣j)wx⋅(wa−wb)=log⁡P(x∣a)P(x∣b)(2.1)w_i\cdot w_j=\log P(i|j)\\ w_x\cdot(w_a-w_b)=\log\frac{P(x|a)}{P(x|b)}\tag{2.1}$
这个类似知识图谱中基于语义的知识表示方法，旨在使训练得到的词向量能够近似满足单词实际的共现概率。
GloVe词向量模型（suggested readings第1篇paper）GloVe: Global Vectors for Word Representation (Pennington et al., EMNLP 2014)：slides p.24

使用的思想即为式 $(2.1)$ 所示，具体而言。目标函数为：
$J=∑i,j=1∣V∣f(Xij)(wi⊤w~j+bi+b~j−log⁡Xij)2(2.2)J=\sum_{i,j=1}^{|V|}f(X_{ij})(w_i^\top\tilde w_j+b_i+\tilde b_j-\log X_{ij})^2\tag{2.2}$
slides中没有解释该目标函数，大致理解了一下，应该是如下的含义：

① $X$ 是基于窗口的单词共现矩阵， $f(X_{ij})$ 是对共现矩阵值进行正则化处理（本节第1点所述）；

② $w_i$ 是单词 $i$ 的词向量，应该是作为中心词的词向量；

③ $w~i\tilde w_i$ 根据论文中的说法叫做separate context word vectors，理论上就是作为语境词的词向量；

④ $b_i$ 和 $b~j\tilde b_j$ 是模型中的截距项；

在本节的notes部分有较为详细的阐述。
一种直观上的词向量评估方法：slides p.34

使用http://www.cs.technion.ac.il/~gabr/resources/data/wordsim353/提供的人类标注的单词相似度数据表来辅助评估。

常规的评估方法可以使用类比法（word vector analogies）：
$d=argmaxi(xb−xa+xc)⊤xi∥xb−xa+xc∥(2.3)d=\text{argmax}_i\frac{(x_b-x_a+x_c)^\top x_i}{\|x_b-x_a+x_c\|}\tag{2.3}$
式 $(2.3)$ 可以理解为给定一种相似关系man:woman，试找出king对应的单词是什么？加入能够找到完美契合的单词，那么说明词向量是好的。

当然实际上都是讲词向量用于下游任务来间接评估其优劣性。

感觉或许这里的词向量评估相关的内容对assignment1中后半部分的一些书面问题是有一些帮助的。
后面的内容大都关于基础机器学习的回顾，较为浅显不赘述。

notes

[notes]

GloVe词向量模型：notes p.1-3

其思想是利用全局的统计信息来预测单词 $j$ 出现在给定单词 $i$ 所在的语境下的概率（即单词 $j$ 与单词 $i$ 共现的概率），目标函数是加权最小二乘。
- 单词—单词共现矩阵 $X$ ：
  
  标记说明：
  
  ① $X_{ij}$ 表示单词 $i$ 与 $j$ 共现的计数；
  
  ② $Xi=∑kXikX_i=\sum_{k}X_{ik}$ 表示单词 $i$ 语境下出现的所有单词数量；
  
  ③ $P_{ij}=P(w_j|w_i)=X_{ij}/X_i$ 表示单词 $j$ 出现在单词 $i$ 语境下的概率；
- 最小二乘目标：
  
  回顾在SG模型中使用的是softmax来计算单词 $j$ 出现在单词 $i$ 语境下的概率:
  $Qij=exp⁡(uj⊤vi)∑w=1Wexp⁡(uw⊤vi)(2.4)Q_{ij}=\frac{\exp(u_j^\top v_i)}{\sum_{w=1}^W\exp(u_w^\top v_i)}\tag{2.4}$
  则全局的损失函数可以写作：
  $J=−∑i∈corpus∑j∈context(i)log⁡Qij(2.5)J=-\sum_{i\in\text{corpus}}\sum_{j\in\text{context}(i)}\log Q_{ij}\tag{2.5}$
  由于单词 $i$ 与单词 $j$ 可能多次共现，因此共现计数加权后的损失函数为：
  $J=−∑i=1∣V∣∑j=1∣V∣Xijlog⁡Qij(2.6)J=-\sum_{i=1}^{|V|}\sum_{j=1}^{|V|}X_{ij}\log Q_{ij}\tag{2.6}$
  将 $Q$ 矩阵正则化后，即可与 $P$ 矩阵进行对照，得到最小二乘的损失函数：
  $J^=∑i=1∣V∣∑j=1∣V∣Xij(P^ij−Q^ij)2(2.7)\hat J=\sum_{i=1}^{|V|}\sum_{j=1}^{|V|}X_{ij}(\hat P_{ij}-\hat Q_{ij})^2\tag{2.7}$
  其中 $P^ij=Xij,Q^ij=exp⁡(uj⊤vi)\hat P_{ij}=X_{ij},\hat Q_{ij}=\exp(u_j^\top v_i)$ ，这两个数值都是没有经过正则化的，取值过大会影响优化求解，因此可以考虑取对数：
  $J^=∑i=1∣V∣∑j=1∣V∣Xi(log⁡P^ij−log⁡Q^ij)2=∑i=1∣V∣∑j=1∣V∣Xi(uj⊤vi−log⁡Xij)2(2.8)\hat J=\sum_{i=1}^{|V|}\sum_{j=1}^{|V|}X_{i}(\log\hat P_{ij}-\log\hat Q_{ij})^2=\sum_{i=1}^{|V|}\sum_{j=1}^{|V|}X_i(u_j^\top v_i-\log X_{ij})^2\tag{2.8}$
  此外可能权钟 $X_i$ 并不那么可靠，可以引入一个更一般的权重函数，即：
  $J^=∑i=1∣V∣∑j=1∣V∣f(Xij)(uj⊤vi−log⁡Xij)2(2.9)\hat J=\sum_{i=1}^{|V|}\sum_{j=1}^{|V|}f(X_{ij})(u_j^\top v_i-\log X_{ij})^2\tag{2.9}$
  这就得到了式 $(2.2)$ 的形式。
窗口分类（window classification）：notes p.12-13

这个概念是与词向量评估中的extrinsic类型的方法相联系的（本笔注没有详细注释，因为感觉不是很重要）。

所谓extrinsic类型的词向量评估方法指的是构建一个新的机器学习任务来对已经生成好的词向量进行分类，这里每个单词都会人工标注多类别的标签值，然后看看是否能够构建一个很好的机器学习模型来成功区分这些词向量，在这个过程中，可以通过重训练（retrain）来提升词向量的效果。notes中指出，重训练是具有风险的。

关于重训练的概念，似乎没有找到很具体的说明，我根据自己的理解，大概的意思是根据extrinsic任务的效果，将那些未能分类准确的单词再拿出来重新学习词向量，但是具体要怎么做这就比较迷，可能就只是调调词向量模型的参数，这个问题暂时未解。

然后所谓窗口分类就是不只是对一个单词分类，而是对一个窗口内的所有单词构成的上下文进行分类。

additional readings

关于基于语义的词向量生成方法，发表于TACL2016，标题中的PMI（Pointwise Mutual Information）已经多次提到，翻译过来叫作逐点互信息，在这里它用来刻画两个单词的相关度。（A Latent Variable Model Approach to PMI-based Word Embeddings）
关于多义词词向量的一篇paper，发表于TACL2018，它的思想是线性加权，具体而言它认为多义词的词向量可由其各个词义的词向量通过加权求和表示，权重为不同词义出现的频率，感觉如果要做词义消歧方面的工作，可以再参考这篇文章的做法，相对来说还是比较新的研究了。（Linear Algebraic Structure of Word Senses, with Applications to Polysemy）
理论性非常强的一篇paper，发表于NIPS2018，研究对象是词向量维度的选取上的权衡，感觉不太能用得到。（On the Dimensionality of Word Embedding）

python review session

[slides] [notebook]

这是一个非常基础的Python入门教程，笔者认为没有必要进行注释，课件中提供了从安装到应用的全过程的文档，以及一个JupyterNotebook的demo，有需求的可以自行查阅。

CS224N WINTER 2022（一）词向量（附Assignment1答案）相关推荐

CS224N WINTER 2022 （六）前沿问题探讨（QA、NLG、知识集成与检索、Coreference）
CS224N WINTER 2022(一)词向量(附Assignment1答案) CS224N WINTER 2022(二)反向传播.神经网络.依存分析(附Assignment2答案) CS224N ...
斯坦福NLP名课带学详解 | CS224n 第2讲 - 词向量进阶（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
深度学习与自然语言处理教程(2) - GloVe及词向量的训练与评估（NLP通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
深度学习与自然语言处理教程(1) - 词向量、SVD分解与Word2Vec（NLP通关指南·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
【NLP】CS224N课程笔记|词向量I: 简介, SVD和Word2Vec
NewBeeNLP原创出品公众号专栏作者@Ryan 知乎 | 机器学习课程笔记 CS224N课程笔记系列,持续更新中课程主页: http://web.stanford.edu/class/cs2 ...
NLP【05】pytorch实现glove词向量（附代码详解）
上一篇:NLP[04]tensorflow 实现Wordvec(附代码详解) 下一篇:NLP[06]RCNN原理及文本分类实战(附代码详解) 完整代码下载:https://github.com/ttj ...
【CS224n】2斯坦福大学深度学习自然语言处理课程笔记——词向量、词义和神经分类器
Natural Language Processing with Deep Learning 课程笔记2 1. 词向量和word2vec 2. 优化基础知识 3. 我们能否通过计数更有效地抓住词义的本 ...
干货分享 | 自然语言处理及词向量模型介绍（附PPT）
云脑科技机器学习训练营第二期,对自然语言处理及词向量模型进行了详细介绍,量子位作为合作媒体为大家带来本期干货分享~ 本期讲师简介樊向军云脑科技核心算法工程师,清华大学学士,日本东京大学与美国华盛顿 ...
最小熵原理：“物以类聚”之从图书馆到词向量
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP,神经网络个人主页丨kexue.fm 从第一篇看下来到这里,我们知道所谓"最小熵原理"就是致力于降低学习成本,试图用 ...

CS224N WINTER 2022（一）词向量（附Assignment1答案）

序言

文章目录

lecture 1 词向量

slides

notes

suggested readings

gensim word vectors example

assignment1 参考答案

lecture 2 词向量与单词窗口分类

slides

notes

suggested readings

additional readings

python review session

CS224N WINTER 2022（一）词向量（附Assignment1答案）相关推荐

最新文章

热门文章