读论文《Efficient Estimation of Word Representations in Vector Space》

2024-05-11 05:13:54

读论文《Efficient Estimation of Word Representations in Vector Space》

原文地址：http://blog.csdn.net/qq_31456593/article/details/77513173

introduce

词的分布式表示（又称词嵌入，word embedding）因为这篇文章开始大火，原来的word embedding只是神经网络语言模型的副产物，而该论文的主要的目标是训练具有语义特征的word embedding。

本文体提出了2个模型，一个是Continuous Bag-of-WordS Model(CBOW),一个是Continuous Skip-gram Model（Skip-gram）
其中CBOW是用上下文的词预测中间词，Skip-gram是用中间词预测上下文的词。

考虑到原来的神经语言模型算法复杂度高，训练时间长，本文的两个网络都去掉了非线性隐藏层，并在输出层使用哈夫曼树结构进行hierarchical softmax，使复杂度大大降低，一天的时间就可以训练16亿单词量的语料。且最终生成的词嵌入满足类似king-man+women=queen的语义关系。

method

论文的2个模型如下文所示

其中CBOW是最大化对w(t)的预测，Skip-gram是最大化对w(t-2),w(t-1),w(t+1),w(t+2)的预测之和。

由于没有隐藏层，所以2个网络都是线性模型

原文对于网络结构和优化函数介绍比较少，所以在这里就不展开，具体细节将在word2vec的博文中介绍

my view

1、由中心词预测上下词似乎是一个很好的思路，值得深挖。
2、没有隐藏层也能有这么好的效果，难道是把语义特征都让词向量学了？
3、没有非线性变化，是否不具更强的拟合能力？
4、文章实验表明词向量维度扩大2倍，比训练次数扩大3倍效果好，是因为维度高，语义丰富？
5、king-man+women=queen是否表明学到的语义空间接近于到人脑中的概念空间？

读论文《Efficient Estimation of Word Representations in Vector Space》相关推荐

读论文《A Neural Probabilistic Language Model》
读论文<A Neural Probabilistic Language Model> 原文地址:http://blog.csdn.net/qq_31456593/article/detai ...
A Neural Probabilistic Language Model 论文阅读及实战
1.词向量介绍在NLP任务中,第一步首先将自然语言转化成数学符号表示.一般常用的词汇表示方法:one-hot表示,这种方法是将每个单词表示为一个很长的向量,这个向量的长度是词汇表的大小,其中绝大数元 ...
论文阅读：A Neural Probabilistic Language Model 一种神经概率语言模型
A Neural Probabilistic Language Model 一种神经概率语言模型目录 A Neural Probabilistic Language Model 一种神经概率语言模型 ...
文本生成（一）【NLP论文复现】Unified Language Model 文本生成从未如此轻松
Unified Language Model 文本生成从未如此轻松前言 UniLM How to build UniLM Get 2D MASK Send 2D MASK to Bert 使用Uni ...
读论文《Natural Language Processing (Almost) from Scratch》
读论文<Natural Language Processing (Almost) from Scratch> 原文地址:http://blog.csdn.net/qq_31456593/a ...
NLP——day37 读论文：自然语言处理中的文本表示研究（综述类 2022 软件学报）
自然语言处理中的文本表示研究资源下载地址(原论文和笔记) INTRODUCTION chap1文本表示基础 1.1 什么是文本表示? 1.2 为什么进行文本表示 chap2 主流技术和方法文本的离 ...
NLP问题特征表达基础 - 语言模型（Language Model）发展演化历程讨论
1. NLP问题简介 0x1:NLP问题都包括哪些内涵人们对真实世界的感知被成为感知世界,而人们用语言表达出自己的感知视为文本数据.那么反过来,NLP,或者更精确地表达为文本挖掘,则是从文本数据出发 ...
读论文《Recurrent neural network based language model 》
读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ...
读论文系列(二)Convolutional Neural Networks over Tree Structures for Programming Language Processing
系列文章目录读论文系列(一)Automated software vulnerability detection with machine learning 文章目录系列文章目录 Keywards ...
读论文2：SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers
SELFEXPLAIN: A Self-Explaining Architecture for Neural Text Classifiers Abstract:[上一篇:读论文1](https:// ...

最新文章

热门文章