详解 GloVe 的原理和应用

前面我们学习了 word2vec 的两种训练模型：CBOW 和 Skip-Gram，这两种都是通过一个神经网络学习出单词的词向量，今天我们来学习另外一个学习词向量的模型 GloVe，全称叫 Global Vectors for Word Representation，它是一个基于全局词频统计的词表征工具，属于非监督式学习方法。

word2vec 是深度学习中比较主流的词嵌入方法，后来在 2014 年由 Stanford NLP 团队的 Jeffrey Pennington、Richard Socher、Chris Manning 在论文GloVe: Global Vectors for Word Representation 中提出了 GloVe。在论文中给出了 GloVe 和 word2vec 的对比，经过实验表明在单词类比任务中 GloVe 的效果要好于 CBOW 和 Skip-Gram，可以比 word2vec 更快地学习出更好的词向量。

GloVe 的基本思想是：

首先建立一个很大的单词-上下文的共现矩阵，矩阵的每个元素 $X_{ij}$ 代表每个单词 $x_i$ 在相应上下文 $x_j$ 的环境中共同出现的次数。
然后用共现次数计算出共现比率，并建立词向量与共现比率之间的映射关系，进而得到 GloVe 的模型函数。
接着建立加权平方差损失函数，再用 AdaGrad 优化算法学习出词向量 $w$、$\tilde{w}$。

接下来就详细学习一下 GloVe 的原理。

GloVe

详解 GloVe 的原理和应用相关推荐

【转详解步进电机工作原理】
详解步进电机工作原理[转自知乎gk-auto] 步进电机是将电脉冲信号转变为角位移或线位移的开环控制元件.在非超载的情况下,电机的转速.停止的位置只取决于脉冲信号的频率和脉冲数,而不受负载变化的影响, ...
FFmpeg入门详解--音视频原理及应用：梅会东：清华大学出版社
大家好,我的第一本书正式出版了,可以在京东各大店铺抢购哦. <FFmpeg入门详解--音视频原理及应用:梅会东:清华大学出版社> 京东自营链接:https://item.jd.com/13 ...
初级游戏外挂编程详解 windows运行原理+游戏辅助编程游戏外挂编程
@TOC初级游戏外挂编程详解 windows运行原理+游戏辅助编程游戏外挂编程 [1]什么是windows API Windows API 中文翻译过来就是windows应用程序接口(Applica ...
多维度详解redis以及原理实现，结构与应用分析
6个方面了解redis应用及其实现原理 1.redis数据存储概述 2.string结构以及应用 3.list结构以及应用 4.hash结构以及应用 5.set结构以及应用 6.zset结构以及应用 ...
详解帧中继工作原理及作用
详解帧中继工作原理及作用帧中继特点帧中继工作原理帧中继的作用帧中继习题帧中继(FrameRelay)是一种用于连接计算机系统的面向分组的通信方法.它主要用在公共或专用网上的局域网互联以及广域 ...
ArrayList 扩容详解，扩容原理
ArrayList 扩容详解,扩容原理 ArrayList是基于数组实现的,是一个动态数组,其容量能自动增长. ArrayList不是线程安全的,只能用在单线程环境下. 实现了Serializable ...
【OpenCV 4开发详解】边缘检测原理
本文首发于"小白学视觉"微信公众号,欢迎关注公众号本文作者为小白,版权归人民邮电出版社发行所有,禁止转载,侵权必究! 经过几个月的努力,小白终于完成了市面上第一本OpenCV 4 ...
重磅直播|中科慧眼崔峰博士详解深度相机原理及其应用
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达大家好,本公众号现已开启线上视频公开课,主讲人通过B站直播间,对3D视觉领域相关知识点进行讲解,并在微 ...
十年架构师详解JVM运行原理
做Java开发的几乎都知JVM这个名词,但是由于JVM对实际的简单开发的来说关联的还是不多,一般工作个一两年(当然不包括爱学习的及专门做性能优化的什么的),很少有人能很好的去学习及理解什么是JVM,以 ...

详解 GloVe 的原理和应用

GloVe

详解 GloVe 的原理和应用相关推荐

最新文章

热门文章