cbow和skip-gram比较

联系

cbow和skip-gram都是在word2vec中用于将文本进行向量表示的实现方法

区别

cbow是用周围词预测中心词，训练过程中其实是在从output的loss学习周围词的信息也就是embedding，但是在中间层是average的，一共预测V次；
skip-gram是用中心词预测周围词，对每一个中心词都有K个词作为output，对一个词的预测有K次，所以能够更有效的从context中学习信息，共预测K*V次，因此，skip-gram的训练时间更长

鉴于skip-gram学习的词向量更细致，当数据量较少或者语料库中有大量低频词时，使用skip-gram学习比较合适

目标函数

CBOW中的目标函数是使条件概率P(w|context(w))最大化
Skip-gram中的目标函数是使条件概率P(context(w)|w)最大化

损失函数

这里使用的损失函数实际上是交叉熵损失函数
Xj 理解为输入one_hot样本，p理解为整个神经网络, 因此p(xj)在该问题中就是最终的输出神经元激活值yj，tj 是样本xj的真实标签，对于某个样本实例，在输出神经元上，只有一个分量的tj=1，其余为0，不妨令这个分量为j∗。化简即 E=−logp(wO|wI)为本问题的交叉熵损失函数

参考文章
参考文章1
参考文章2
参考文章3

cbow和skip-gram比较相关推荐

Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之Understanding Word Embeddings CBOW and Skip Gram
Rasa课程.Rasa培训.Rasa面试.Rasa实战系列之Understanding Word Embeddings CBOW and Skip Gram 字嵌入从第i个字符,第i+1个字符预测第 ...
《自然语言处理学习之路》02 词向量模型Word2Vec，CBOW，Skip Gram
本文主要是学习参考莫烦老师的教学,对老师课程的学习,记忆笔记. 原文链接文章目录书山有路勤为径,学海无涯苦作舟. 零.吃水不忘挖井人一.计算机如何实现对于词语的理解 1.1 万物数字化 1.2 ...
skip gram和cbow的优缺点
在cbow方法中,是用周围词预测中心词,从而利用中心词的预测结果情况,使用GradientDesent方法,不断的去调整周围词的向量.当训练完成之后,每个词都会作为中心词,把周围词的词向量进行了调整, ...
pytorch笔记：搭建Skip—gram
skip-gram 理论部分见:NLP 笔记:Skip-gram_刘文巾的博客-CSDN博客 1 导入库 import numpy as np import torch from torch impo ...
Skip-gram CBOW 的一些理解
Skip-gram & CBOW 的一些理解文章目录 Skip-gram & CBOW 的一些理解〇.前言一.背景二.基础结构 2.1 One-hot投影成隐向量 2.2 利用 ...
从静态到动态，词表征近几十年发展回顾
2020-04-01 18:45:38 作者 | 杨晓凡编辑 | 丛末在自然语言处理技术的整个发展历史中,如何把最小语义元素「单词」做数字化表示,一直都是一个研究热点. 近几年,用海量无标记文本数 ...
嵌入式系统分类及其应用场景_词嵌入及其应用简介
嵌入式系统分类及其应用场景 Before I give you an introduction on Word Embeddings, take a look at the following exa ...
Word Embedding 知识总结
一 Word Embedding的基本概念 1.1 什么是Word Embedding? 现有的机器学习方法往往无法直接处理文本数据,因此需要找到合适的方法,将文本数据转换为数值型数据,由此引出了Wo ...
NER文献溯源-v2核心技术方法
目录 1 资源: 2 解码算法: 1. Hidden Markov Models (HMM) 2. Decision Trees (S. Sekine 1998)--决策树 3. Maximum En ...
词向量化 Vector Representation of Words 方法汇总
PART I: Classical Machine Leaning 为什么要进行词向量化? "向量化"可以理解为"数值化",为什么要"数值化" ...

cbow和skip-gram比较

cbow和skip-gram比较相关推荐

最新文章

热门文章