Embedding改进CBOW

假设词汇量为 100 万个时的 CBOW 模型如下，输入层和输出层存在 100 万个神经元。

下面两个问题导致耗时严重。

问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多，计算 one-hot 表示与权重矩阵的乘积，需要花费大量时间。

问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算，花费大量时间。

解决问题一：

计算one-hot 表示矩阵和权重矩阵的乘积，其实就是将权重矩阵的某个特定的行取出来。如下图所示。

Embedding 层：一个从权重矩阵中抽取单词ID对应行(向量)的层。

使用 params 和 grads 作为成员变量，params中保存要学习的参数，grads中保存梯度。并在成员变量 idx 中以数组的形式保存需要提取的行的索引(单词ID)。

正向传播：从权重矩阵W中提取特定的行，并将特定行的神经元原样传给下一层。

反向传播：上一层(输出侧的层)传过来的梯度将原样传给下一层(输入侧的层)。上一层传来的梯度会被应用到权重梯度dW的特定行(idx)。

反向传播里面，将梯度累加到对应索引上，用于处理idx 中出现了重复的索引的情况。dW[…] = 0的目的是保持dW的形状不变，将它的元素设为0。

将原来CBOW模型中输入侧的 MatMul 层换成 Embedding 层，减少内存使用量，避免不必要的矩阵计算。

class Embedding:def __init__(self, W):self.params = [W]self.grads = [np.zeros_like(W)]self.idx = Nonedef forward(self, idx):W, = self.paramsself.idx = idxout = W[idx]return outdef backward(self, dout):dW, = self.gradsdW[...] = 0if GPU:np.scatter_add(dW, self.idx, dout)else:np.add.at(dW, self.idx, dout)return None

Embedding改进CBOW相关推荐

【Pytorch基础教程28】浅谈torch.nn.embedding
学习总结文章目录学习总结一.nn.Embedding 二.代码栗子 2.1 通过embedding降维 2.2 RNN中用embedding改进 2.3 deepFM模型中embedding R ...
[深度学习] 一篇文章理解 word2vec
1 词的独热编码 One-Hot 表示到目前为止最常用的词表示方法是 One-hot Representation,这种方法把每个词表示为一个很长的向量.这个向量的维度是词表大小,其中绝大多数元素为 ...
Word2Vec解读
背景从上一章神经网络语言模型(NNLM)我们了解到,他的优点相比传统的统计语言模型,首次引入词向量word embedding的概念,将离散的统计模型转为了高维空间中的连续稠密向量,解决了传统统计语 ...
NLP-词向量(Word Embedding)-2013：Word2vec模型（CBOW、Skip-Gram）【对NNLM的简化】【层次Softmax、负采样、重采样】【静态表示；无法解决一词多义】
一.文本的表示方法 (Representation) 文本是一种非结构化的数据信息,是不可以直接被计算的.因为文本不能够直接被模型计算,所以需要将其转化为向量. 文本表示的作用就是将这些非结构化的信息 ...
Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 文本预处理及其作用: 文本语料在输送给模型前一般需要一系列的预 ...
知识图谱-KGE-语义匹配-双线性模型-2016：ComplEx【ComplEX是Distmul的改进】【将实数的Embedding映射到复数空间，从而可以处理非对称关系】
ComplEX是Distmul的改进. 前提:采用Bilinear Model,该模型的打分函数为f (h,t)= hT·r·t 基础假设:采用复数u = a + bi的方式表示h和t. 打分函数:因 ...
什么是embedding？
本文转自:https://www.jianshu.com/p/6c977a9a53de 简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等.这个 ...
word2vec原理（一）：词向量、CBOW与Skip-Gram模型基础
word2vec原理(一): CBOW与Skip-Gram模型基础 word2vec原理(二):基于Hierarchical Softmax的模型 word2vec原理(三): 基于Negative ...
06_1.Pytorch中如何表示字符串、word embedding、One - hot、Embedding（Word2vec、BERT、Glove）【学习总结】
1.6.1.如何表示字符串 1.6.1.1.word embedding 1.6.1.1.1.文本表示(Representation) 1.6.1.1.2.独热编码 | one-hot represe ...

Embedding改进CBOW

Embedding改进CBOW相关推荐

最新文章

热门文章