先上这篇paper链接：https://arxiv.org/pdf/1301.3781.pdf

摘要

这篇paper介绍了两种可从大规模数据集计算continuous vector representations of words的模型。（这边的continuous或可理解为上下文中心词是连在一起的；亦或相对于one-hot编码的非0即1，各维度上都是实数）。在单词相似性任务中衡量这些representations 的性能，并将结果与以前基于不同类型神经网络的优秀的模型进行比较。在更低的计算成本下，准确度有了很大的提高。这些vectors在测试集上能很好的捕捉到语意和句法的相似性（we show that these vectors provide state-of-the-art performance on our test set for measuring syntactic and semantic word similarities.）。

1 引言

当时很多的NLP算法，将words当作最小的原子用词典中的下标表示，缺点是没有words间相似性的概念，优点是简单（大训练集上的简单模型的表现优于小训练集上的复杂模型，在有限的计算资源和时间复杂度下，简单的模型能作用于更大的训练集）、鲁棒【simplicity, robustness and the observation that simple models trained on huge amounts of data outperform complex systems trained on less data】。例如N-gram模型能作用于万亿级别单词的数据集。

但是在很多任务中简单模型表现不佳。例如自动语音识别领域的数据比较少，模型表现与高质量的转录语音数据的量相关，通常只有百万级别。机器翻译领域，某些语言的语料也只有数十亿级别乃至更少。在这些情况下，对简单模型的一般改进并不能拿到优异的表现。

现在的技术使得在更大的数据上训练更复杂的模型成为可能，复杂模型的表现通常也优于简单模型。最成功的案例是use distributed representations of words。例如基于神经网络的语言模型明显优于N-gram。

1.1 文章的主旨

文章旨在从具有百万级别的单词、规模在数十亿级别的语料中学习高质量的单词的向量表示【learning high-quality word vectors from huge data sets with billions of words, and with millions of words in the vocabulary】。作者表示，当单词向量的维度在50-100之间的时候，以往的模型很难支撑起在数亿级别的语料上进行训练。

文章利用已有的评价单词向量质量的方法，不仅期待相似的单词向量彼此临近，还期待单词能拥有多种维度的相似性【multiple degrees of similarity】。现实也确实如此，例如名词有多种后缀，在词向量的子空间搜索相似的词，通常也能发现这些词有相同的结尾【This has been observed earlier in the context of inflectional languages - for example, nouns can have multiple word endings, and if we search for similar words in a subspace of the original vector space, it is possible to find words that have similar endings.】。

这种相似性已经超越了简单的句法规则。将代数运算用在词向量上，例如vector（“King”）- vector("Man") + vector("Woman")，我们会发现得到的向量与单词Queen的向量表示很临近。

文章通过新的模型结构来最大限度地提高这些向量运算的准确性，以保持单词之间的线性规律。文章设计新的综合的测试集来衡量句法和语法规律【syntactic and semantic】，并表明可以以高的准确率学习到很多类似的规律。文章还在各种训练集上，讨论了词向量的维度对训练时间和准确率的影响。

2. 模型结构

之前有用LDA和LSA来得到词的continuous representations。相对于LSA，神经网络模型能很好的提供保持单词之间的线性规律，而LSA在训练大规模数据集的时候代价高昂。

文章用模型可学习的参数来表示模型的复杂度【define first the computational complexity of a model as the number of parameters that need to be accessed to fully train the model】。比较不同模型的复杂度公式如下：

$O = E \times T \times Q$

其中，E是训练的轮数，T是训练集的单词数，Q是每个模型的复杂度。

2.1 Feedforward Neural Net Language Model (NNLM)前馈神经网络语言模型

附这篇文章地址：https://jmlr.csail.mit.edu/papers/volume3/bengio03a/bengio03a.pdf

Efficient Estimation of Word Representations in Vector Space 笔记相关推荐

nlp论文——《Efficient Estimation of Word Representations in Vector Space》（向量空间中词表示的有效估计）
目录 <Efficient Estimation of Word Representations in Vector Space> 第一课时:论文导读 (1)语言模型 (2)词向量简介-- ...
论文翻译解读：Efficient estimation of word representations in vector space【Word2Vec】
文章目录简要信息重点内容概括 Efficient estimation of word representations in vector space 摘要 1 介绍 1.1 论文目标 1.2 以 ...
读论文《Efficient Estimation of Word Representations in Vector Space》
读论文<Efficient Estimation of Word Representations in Vector Space> 原文地址:http://blog.csdn.net/qq ...
论文阅读：Efficient Estimation of Word Representations in Vector Space
目录前言 Abstract 1.Introduction 1.1 Goals of the Paper 1.2 Previous Work 2. Model Architectures 2.1 Fe ...
论文笔记--Efficient Estimation of Word Representations in Vector Space
论文笔记--Efficient Estimation of Word Representations in Vector Space 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 NNLM ...
[Embeding-1]Efficient Estimation of Word Representations in Vector Space 译文
1. abstract 我们提出了两种新的模型结构,用于计算非常大数据集中单词的连续矢量表示.这些表示的质量是在一个词相似性任务中测量的,并将结果与以前基于不同类型神经网络的最佳表现技术进行比较.我们 ...
NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space
译者按: 2013年,Google开源了一款用于词向量计算的工具--word2vec,引起了工业界和学术界的关注.首先,word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练:其次,该工 ...
(30)[ICLR13] Efficient Estimation of Word Representations in Vector Space
计划完成深度学习入门的126篇论文第三十篇,Google的Jeffrey Dean.Greg Corrado.Tomas Mikolov发表的第一排word2vec论文,引用高达10000次,同时也是 ...
Efficient Estimation of Word Representations in Vector Space
提出两个新颖的模型来计算词的连续向量表示,这些表示的质量用词的相似度来计算,结果和其他表现最好的技术进行比较.我们发现有很大的提高而且计算量低,比如1.6百万的词只需要不到一天的计算,而且这些向量对于 ...

Efficient Estimation of Word Representations in Vector Space 笔记

摘要

1 引言

1.1 文章的主旨

2. 模型结构

2.1 Feedforward Neural Net Language Model (NNLM)前馈神经网络语言模型

Efficient Estimation of Word Representations in Vector Space 笔记相关推荐

最新文章

热门文章