自然语言处理 —— 2.4 嵌入矩阵

接下来我们要将学习词嵌入这一问题具体化，当你应用算法来学习词嵌入时，实际上是学习一个嵌入矩阵，我们来看一下这是什么意思。

假设我们字典含有10000个单词，有a，aaron等单词，可能还有一个未知词标记。我们要做的就是学习一个嵌入矩阵E，它将是一个300∗10000300*10000300∗10000的矩阵，如果加上未知词，就是300∗10001300*10001300∗10001维的矩阵。这个矩阵的各列代表的是字典中10000个不同的单词所代表的不同向量。

假设orange的单词编号是6257，代表字典中第6257个单词，我们用符号O6527O_{6527}O6527来表示这个one-hot向量，这个向量除了在6257处为1，其余各处都为0。显然它是一个10000维的列向量，它只有一个位置为1,。

假如这个嵌入矩阵叫做矩阵E，注意如果用E去乘于orange的one-hot向量O6527O_{6527}O6527，那么就会得到一个300维的向量，要计算这个向量的第一个元素，你需要做的是把E的第一行和O的整列相乘，不过O的所有元素都是0，只有6257位置上是1，最后你得到的这个向量的第一个元素就是矩阵中orange这一列下的数字，然后我们要计算这个向量的第二个元素，就是把这个O6527O_{6527}O6527和矩阵E的第二行相乘。以此类推，直到你得到这个向量剩下的所有元素。

这就是为什么把矩阵E和这个one-hot向量相乘，最后得到的其实就是矩阵中某一个300维的列，对应于orange，它对应于e6257e_6257e6257，这个符号是我们用来表示这个300∗1300*1300∗1嵌入向量的符号，它表示的单词是orange，推而广之，假如说有某个单词w，那么ewe_wew就代表单词w的嵌入向量。推而广之，E∗OjE*O_jE∗Oj，OjO_jOj就是只有在第j个位置是1的one-hot向量，得到的结果就是eje_jej，它表示的是字典中单词的嵌入向量。

这一节中我们的目标是学习一个嵌入矩阵E，在以后的学习中我们将随机地初始化矩阵E，然后使用梯度下降法来学习这个300∗10000300*10000300∗10000的矩阵中的各个参数。E乘于这个one-hot向量会得到嵌入向量。

再多说一点，当我们动手实现，用大量的矩阵和向量相乘来计算它，效率是很低下的。因为one-hot向量是一个维度非常高的向量，并且几乎所有元素都是0，所以矩阵向量相乘效率太低。因为我们要乘于一大堆0，所以在实践中你会使用一个专门的函数来单独查找矩阵E中的某一列，而不是用通常的矩阵乘法，但是在画示意图的时候这样写比较方便。

但是例如在keras中，就有一个嵌入层，然后我们用这个嵌入层更有效地从嵌入矩阵中提取出你需要的列，而不是对矩阵进行很慢很复杂的乘法运算。

自然语言处理 —— 2.4 嵌入矩阵相关推荐

吴恩达老师深度学习视频课笔记：自然语言处理与词嵌入
Word representation:词嵌入(word embedding),是语言表示的一种方式,可以让算法自动理解一些类似的词比如男人.女人,国王.王后等.通过词嵌入的概念,即使你的模型标记的训 ...
[DeeplearningAI笔记]序列模型2.3-2.5余弦相似度/嵌入矩阵/学习词嵌入
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.3词嵌入的特性 properties of word embedding Mikolov T, Yih W T, Zwe ...
深度学习笔记第五门课序列模型第二周自然语言处理与词嵌入
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
05.序列模型 W2.自然语言处理与词嵌入
文章目录 1. 词汇表征 2. 使用词嵌入 3. 词嵌入的特性 4. 嵌入矩阵 5. 学习词嵌入 6. Word2Vec 7. 负采样 8. GloVe 词向量 9. 情感分类 10. 词嵌入除偏作 ...
第二周自然语言处理与词嵌入（Natural Language Processing and Word Embeddings）
第二周自然语言处理与词嵌入(Natural Language Processing and Word Embeddings) 文章目录第二周自然语言处理与词嵌入(Natural Language ...
词嵌入矩阵(Word Embeddings)的生成
词嵌入矩阵的学习词嵌入格式词嵌入矩阵的训练词嵌入词嵌入矩阵是自然语言处理里非常重要的东西.它可以帮助我们快速的使用小样本建立一个不错的自然语言处理任务.那么他是如何生成的呢. 格式词嵌入矩 ...
第二周：自然语言处理与词嵌入
第二周:自然语言处理与词嵌入 2.1 词汇特征(Word Representation) 词嵌入 Word Embedding t-SNE 2.2 使用词嵌入 Name entity例子步骤: 词向 ...
【吴恩达深度学习笔记】5.2自然语言处理与词嵌入Natural Language Processing and Word Embeddings
第五门课序列模型(Sequence Models) 2.1词汇表征(Word Representation) 词嵌入(word embeddings)是语言表示的一种方式,可以让算法自动的理解一些类 ...
吴恩达deeplearning.ai系列课程笔记+编程作业(14)序列模型(Sequence Models)-第二周自然语言处理与词嵌入
第五门课序列模型(Sequence Models) 第二周自然语言处理与词嵌入(Natural Language Processing and Word Embeddings) 文章目录第五门课 ...

自然语言处理 —— 2.4 嵌入矩阵

自然语言处理 —— 2.4 嵌入矩阵相关推荐

最新文章

热门文章