更别致的词向量模型(一)：simpler glove
如果问我哪个是最方便、最好用的词向量模型，我觉得应该是word2vec，但如果问我哪个是最漂亮的词向量模型，我不知道，我觉得各个模型总有一些不足的地方。且不说试验效果好不好（这不过是评测指标的问题），就单看理论也没有一个模型称得上漂亮的。
本文讨论了一些大家比较关心的词向量的问题，很多结论基本上都是实验发现的，缺乏合理的解释，包括：
如果去构造一个词向量模型？
为什么用余弦值来做近义词搜索？向量的内积又是什么含义？
词向量的模长有什么特殊的含义？
为什么词向量具有词类比性质？（国王-男人+女人=女王）
得到词向量后怎么构建句向量？词向量求和作为简单的句向量的依据是什么？
这些讨论既有其针对性，也有它的一般性，有些解释也许可以直接迁移到对glove模型和skip gram模型的词向量性质的诠释中，读者可以自行尝试。
围绕着这些问题的讨论，本文提出了一个新的类似glove的词向量模型，这里称之为simpler glove，并基于斯坦福的glove源码进行修改，给出了本文的实现，具体代码在Github上。
为什么要改进glove？可以肯定的是glove的思想是很有启发性的，然而尽管它号称媲美甚至超越word2vec，但它本身却是一个比较糟糕的模型（后面我们也会解释它为什么糟糕），因此就有了改进空间。
内容概览：
1 对语言进行建模
1.1 从条件概率到互信息
1.2 互信息的可加性
1.3 插播:番外篇2 描述相关的模型
2.1 几何词向量
2.2 机场-飞机+火车=火车站
2.3 模型的形式
2.4 忘记归一化3 模型的求解
3.1 损失函数
3.2 互信息估算
3.3 权重和降采样.
3.4 Adagrad4 有趣的结果
4.1 模长的含义
4.2 词类比实验
4.3 相关词排序
4.4 重新定义相似.
4.5 关键词提取
4.6 句子的相似度.
4.7 句向量
转载到请包括本文地址： http://kexue.fm/archives/4667/
更别致的词向量模型(一)：simpler glove相关推荐
- PaperWeekly 第53期 | 更别致的词向量模型：Simpler GloVe - Part 2
作者丨苏剑林 学校丨中山大学硕士生 研究方向丨NLP,神经网络 个人主页丨kexue.fm 前言 本文作者在更别致的词向量模型:Simpler GloVe - Part 1一文中提出了一个新的类似 G ...
- PaperWeekly 第52期 | 更别致的词向量模型：Simpler GloVe - Part 1
作者丨苏剑林 学校丨中山大学硕士生 研究方向丨NLP,神经网络 个人主页丨kexue.fm 前言 如果问我哪个是最方便.最好用的词向量模型,我觉得应该是 word2vec,但如果问我哪个是最漂亮的词向 ...
- 干货分享 | 自然语言处理及词向量模型介绍（附PPT）
云脑科技机器学习训练营第二期,对自然语言处理及词向量模型进行了详细介绍,量子位作为合作媒体为大家带来本期干货分享~ 本期讲师简介 樊向军 云脑科技核心算法工程师,清华大学学士,日本东京大学与美国华盛顿 ...
- 词袋模型（BOW，bag of words）和词向量模型（Word Embedding）理解
Word2vec 向量空间模型在信息检索中是众所周知的,其中每个文档被表示为向量.矢量分量表示文档中每个单词的权重或重要性.使用余弦相似性度量计算两个文档之间的相似性. 尽管对单词使用矢量表示的想法也 ...
- 文本深度表示模型——word2vecdoc2vec词向量模型（转）
from: https://www.cnblogs.com/maybe2030/p/5427148.html 阅读目录 1. 词向量 2.Distributed representation词向量表示 ...
- 【NLP】⚠️学不会打我! 半小时学会基本操作 2⚠️词向量模型简介
[NLP]⚠️学不会打我! 半小时学会基本操作 2⚠️词向量模型简介 概述 词向量维度 Word2Vec CBOW 模型 Skip-Gram 模型 负采样模型 词向量的训练过程 1. 初始化词向量矩阵 ...
- 词袋模型和词向量模型
在自然语言处理和文本分析的问题中,词袋(Bag of Words, BOW)和词向量(Word Embedding)是两种最常用的模型.更准确地说,词向量只能表征单个词,如果要表示文本,需要做一些额外 ...
- 【自然语言处理】Word2Vec 词向量模型详解 + Python代码实战
文章目录 一.词向量引入 二.词向量模型 三.训练数据构建 四.不同模型对比 4.1 CBOW 4.2 Skip-gram 模型 4.3 CBOW 和 Skip-gram 对比 五.词向量训练过程 5 ...
- 【NLP】⚠️学不会打我! 半小时学会基本操作 4⚠️词向量模型
[NLP]⚠️学不会打我! 半小时学会基本操作 4⚠️词向量模型 概述 词向量 词向量维度 Word2Vec CBOW 模型 Skip-Gram 模型 负采样模型 词向量的训练过程 1. 初始化词向量 ...
最新文章
- 30针4k屏_华为发布智慧办公战略产品 企业智慧屏系列
- Eclipse运行时无法加载主类的解决方法
- 天津市电子计算机职业学院,天津市电子计算机职业中等专业学校
- demo08 关于SplitChunksPlugin
- c语言16位字节只能用到255,《C语言程序设计》月考试题(第三章).doc
- poj2406 Power Strings 模式匹配算法KMP变形
- GoWeb开发_Iris框架讲解（二）：Get、Post、Put等请求及数据返回格式
- ALSA声卡驱动（二）声卡创建
- matlab二重定积分_二重积分 matlab
- 三极管、MOS管 可以反向导通吗？-----可以
- oracle启动报错ora11157,ORA-20011 KUP-11024 外部表引起的错误
- 网页 flash swf 无法调用 摄像头 问题解决
- LocalDate的isBefore和isAfter方法
- 一文读懂JVM虚拟机：JVM虚拟机的内存管理（万字详解）
- 网上流行护眼色的RGB值和颜色代码
- 网站SEO诊断分析要点
- 【反编译系列】四、反编译so文件（IDA_Pro）
- FM调制的FPGA实现（三）
- 重装系统和恢复出厂一样吗
- Rmarkdown对电影数据集进行统计分析