Word Vector

词向量模型可表示为含有一层隐藏层的前向神经网络，词向量为输入层到隐藏层的参数，即参数矩阵的行向量.

语料库总词数为|V|
embedding后的单词维度为n
输入层为n维向量
输入层到隐藏层参数矩阵 $W∣V∣×nW_{|V|\times n}$
隐藏层到输出层参数矩阵 $U∣V∣×nU_{|V|\times n}$ ，输出经过softmax归一化为概率分布

模型具有两种变体：skip-grams (sg)和continuous bag of words(cbow).

Skip-grams model with negative sampling

skip-grams是基于中心词预测上下文，示意图如下：

输出层的维度等于语料库单词总数，使用naive softmax计算简单，但是计算代价太高.

给定词 $w$ ，上下文 $context(w)\text{context}(w)$ ，随机采样K个词构成词集 $neg(w)\text{neg}(w)$ ，其中 $w,context(w)∉neg(w)w,\text{context}(w) \notin \text{neg}(w)$ ，可将 $context\text{context}$ 和 $neg(w)\text{neg}(w)$ 分别视为 $w$ 的正、负样本， $K$ 个负采样仅构成 $K + 1$ 个logisti回归，从而退化softmax.

我们希望中心词与真实上下文单词向量的內积更大，与 $K$ 次随机采样词的內积更小，对于单个窗口的负采样似然函数可表示为:
$Jt(θ)=log⁡σ(u0⊤vc)+∑k=1Klog⁡(1−σ(uk⊤vc))J_t(\theta)=\log\sigma(u_0^\top v_c)+\sum_{k=1}^K\log(1-\sigma(u_k^\top v_c))$

式中 $u_0$ 和 $u_k$ 分别为上下文单词和负采样单词的onehot向量， $v_c$ 为中心词在输出层向量表示.

负样本词被采样的概率与其在语料库中的频率正相关，为相对减少常见词被采样频率。增加稀有词被采样概率，可将语料库生成的unigram分布，通过3/4次方，w被采样的概率为
$P(w)=U(w)^{3/4}/Z$
上式中Z为归一化因子，用于生成概率分布.

Continuous Bag of Words

CBOW: Predict center word from (bag of) context words.

假设n_gram总数为 $T$ （窗口数/训练样本数）， $w_t$ 为窗口 $t$ 中心词的onehot向量，输入层向量 $wt~w_{\tilde t}$ 为所有邻近词onehot向量， $P(wt∣wt~)P(w_t|w_{\tilde t})$ 为窗口 $t$ 中心词的概率分布.

模型目标函数为
$J(θ)=max⁡∑t=1TlogP(wt∣wt~)=max⁡∑t=1Twt⋅log⁡softmax(U⋅f⊤(W⊤wt~))J(\theta)=\max\sum_{t=1}^Tlog P(w_t|w_{\tilde t}) =\max\sum_{t=1}^Tw_t\cdot \log\text{softmax}\left(U\cdot f^\top(W^\top w_{\tilde t})\right)\\$
由于 $N$ 较大(中文词约几十万)，而且大语料集下 $M$ 也非常大，模型的复杂度较大，通常是采用Negtive Sample或Hierarchical Softmax求近似解.

Document Vector

与word2vec类似，doc2vec也可采用两种训练方式：pv-dm类似于cbow（如下图），pv-dbow类似于skip-ngram.

滑动窗口从句中采样固定长度的词，将其中一个词向量作为预测，其他词向量和句向量作为输入（累加平均）.

同一句在不同滑动窗口训练时共享句向量.

深度学习：词向量和句向量（Embedding）相关推荐

JoSE：球面上的词向量和句向量
作者丨苏剑林单位丨追一科技研究方向丨NLP,神经网络个人主页丨kexue.fm 这篇文章介绍一个发表在 NeurIPS 2019 的做词向量和句向量的模型 JoSE(Joint Spherica ...
NLP词向量和句向量方法总结及实现
目前各种词向量是很多的,很有必要做一个综合性的总结.在CSDN上一看已经有作者做过这部分的工作了.觉得写的非常棒,于是就转载过来了,原文地址:NLP词向量和句向量方法总结及实现,具体内容如下: 一.W ...
NLP深入学习——什么是词向量和句向量（Word Embedding and Sentence Embedding）
词向量(Word Embedding) 词向量(Word embedding),又叫Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称,其中来自词汇表的单词或短语被映射到实数的向 ...
读书笔记-深度学习推荐系统4-推荐与embedding
本篇结合了书籍 <深度学习推荐系统>和吴恩达老师的视频课程 <Natural Language Processing and Word Embeddings>. embeddi ...
深度学习-词嵌入（word2vec）
词嵌入(word2vec) 自然语言是一套用来表达含义的复杂系统.在这套系统中,词是表义的基本单元.顾名思义,词向量是用来表示词的向量,也可被认为是词的特征向量或表征.把词映射为实数域向量的技术也叫词 ...
深入理解深度学习——图嵌入（Graph Embedding）
分类目录:<深入理解深度学习>总目录前面的文章介绍了由Word Embedding延伸出的Item Embedding等,这些延伸都建立在它们有序列特性的基础上.其实,可延伸的领域还有很 ...
【吴恩达深度学习】——NLP和Word Embedding
NLP和词嵌入思维导图词汇表征 one-hot表征特征表征:词嵌入使用word Embeddings 命名实体识别的例子: 词嵌入的迁移学习: 词嵌入和人脸编码词嵌入的特性类比推理的特性 ...
自动训练Embedding词向量和手动训练Embedding词向量
手动训练自己的词向量 gensim工具包-训练自己的Word2Vec 产生word_vector.bin文件然后调用: embedding = nn.Embedding.from_pretraine ...
简单又强大：基于深度学习的短文本向量嵌入方法
SentenceTransfomer是一个基于Sentence-BERT开发的Python框架,可以为句子和短文本产生高质量的嵌入向量.包括英文和中文的许多语言都支持.同BERT模型相比,senten ...
李宏毅深度学习--《Unsupervised Learning:Neighbor Embedding》
<Unsupervised Learning:Neighbor Embedding> Manifold Learning Locally Linear Embedding (LLE) La ...

深度学习：词向量和句向量（Embedding）

文章目录

Word Vector

Skip-grams model with negative sampling

Continuous Bag of Words

Document Vector

深度学习：词向量和句向量（Embedding）相关推荐

最新文章

热门文章