word2vec----CBOW

假设我们现在的Corpus是这一个简单的只有四个单词的document：
{I drink coffee everyday}
我们选coffee作为中心词，window size设为2
也就是说，我们要根据单词"I","drink"和"everyday"来预测一个单词，并且我们希望这个单词是coffee。

&lt;img src="https://pic4.zhimg.com/50/v2-3e75211b3b675f17a232f29fae0982bc_hd.jpg" data-caption="" data-size="normal" data-rawwidth="1429" data-rawheight="736" class="origin_image zh-lightbox-thumb" width="1429" data-original="https://pic4.zhimg.com/v2-3e75211b3b675f17a232f29fae0982bc_r.jpg"&gt;&lt;img src="https://pic4.zhimg.com/50/v2-abd3c7d6bc76c01266e8ddd32acfe31a_hd.jpg" data-caption="" data-size="normal" data-rawwidth="1514" data-rawheight="844" class="origin_image zh-lightbox-thumb" width="1514" data-original="https://pic4.zhimg.com/v2-abd3c7d6bc76c01266e8ddd32acfe31a_r.jpg"&gt;&lt;img src="https://pic1.zhimg.com/50/v2-66655880a87789eaba5dd6f5c5033e94_hd.jpg" data-caption="" data-size="normal" data-rawwidth="1305" data-rawheight="755" class="origin_image zh-lightbox-thumb" width="1305" data-original="https://pic1.zhimg.com/v2-66655880a87789eaba5dd6f5c5033e94_r.jpg"&gt;&lt;img src="https://pic2.zhimg.com/50/v2-5325f4a5d1fbacefd93ccb138b706a69_hd.jpg" data-caption="" data-size="normal" data-rawwidth="1304" data-rawheight="798" class="origin_image zh-lightbox-thumb" width="1304" data-original="https://pic2.zhimg.com/v2-5325f4a5d1fbacefd93ccb138b706a69_r.jpg"&gt;&lt;img src="https://pic4.zhimg.com/50/v2-1713450fa2a0f37c8cbcce4ffef04baa_hd.jpg" data-caption="" data-size="normal" data-rawwidth="1319" data-rawheight="736" class="origin_image zh-lightbox-thumb" width="1319" data-original="https://pic4.zhimg.com/v2-1713450fa2a0f37c8cbcce4ffef04baa_r.jpg"&gt;

假设我们此时得到的概率分布已经达到了设定的迭代次数，那么现在我们训练出来的look up table应该为矩阵W。即，任何一个单词的one-hot表示乘以这个矩阵都将得到自己的word embedding。

转载于:https://www.cnblogs.com/mimandehuanxue/p/8981506.html

word2vec----CBOW相关推荐

Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 文本预处理及其作用: 文本语料在输送给模型前一般需要一系列的预 ...
cbow word2vec 损失_Word2vec之CBOW
一.Word2vec word2vec是Google与2013年开源推出的一个用于获取word vecter的工具包,利用神经网络为单词寻找一个连续向量看空间中的表示.word2vec是将单词转换为向 ...
学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、词向量、word2vec...
人工神经网络,借鉴生物神经网络工作原理数学模型. 由n个输入特征得出与输入特征几乎相同的n个结果,训练隐藏层得到意想不到信息.信息检索领域,模型训练合理排序模型,输入特征,文档质量.文档点击历史.文档 ...
word2vec损失函数的数学推导和近似训练以及doc2vec的实战掉包应用
更新: 9/4/20 做了关于SG模型最后计算loss的一些补充.对doc2vec损失计算部分出现的错误进行了订正. 11/17/20 补充了部分近似训练的内容. 词义表示在NLP中,最基础的问题就 ...
文本挖掘(part7)--Word2vec
学习笔记,仅供参考,有错必纠文章目录文档信息的向量化 word2vec: CBOW(连续词袋) word2vec降低运算量的方式(分层softmax.负例采样) 分层softmax 负例采样 wo ...
【词向量】从Word2Vec到Bert，聊聊词向量的前世今生（一）
机器学习算法与自然语言处理推荐来源:https://zhuanlan.zhihu.com/p/58425003 作者:小川Ryan [机器学习算法与自然语言处理导读]BERT并不是凭空而来,如何 ...
深度之眼Paper带读笔记NLP.2：word2vec.baseline.1
文章目录前言论文储备知识语言模型基于专家语法规则的语言模型统计语言模型统计语言模型中的平滑操作基于马尔科夫假设语言模型评价指标:困惑度(Perplexity) 论文背景知识词的表示方 ...
CS224n 2019 Winter 笔记（一）：Word Embedding:Word2vec and Glove
CS224n笔记:Word2Vec:CBOW and Skip-Gram 摘要一.语言模型(Language Model) (一)一元模型(Unary Language Model) (二)二元模型 ...
2.文本预处理（分词，命名实体识别和词性标注，one-hot，word2vec，word embedding，文本数据分析，文本特征处理，文本数据增强）
文章目录 1.1 认识文本预处理文本预处理及其作用文本预处理中包含的主要环节文本处理的基本方法文本张量表示方法文本语料的数据分析文本特征处理数据增强方法重要说明 1.2 文本处理的基本 ...
NLP (二): word2vec
目录基于推理的方法和神经网络基于计数的方法的问题基于推理的方法的概要基于推理 v.s. 基于计数神经网络中单词的处理方法简单的 word2vec CBOW (continuous bag- ...

word2vec----CBOW

word2vec----CBOW相关推荐

最新文章

热门文章