GloVe:另一种Word Embedding方法

2024-06-02 07:46:07

GloVe 和其他模型的关系

当看到GloVe拍脑门找到loglog函数的时候，就觉得和word2vec中应用language model有几分类似。
其实确有千丝万缕的联系的，推一推，会发现两者的相似性，不过我写到这里懒得写了，更多的细节有兴趣可以自己琢磨下。

GloVe 使用

GloVe已经在github开源，源码以及binary可以在GloVe Github找到。
GloVe的代码写的比较糙，每一步是独立的程序，因此要按照以下步骤进行：

运行./vocab_count 进行词频统计
运行./cooccur 进行共现统计
运行./shuffle 进行打散
运行./glove 进行训练词向量

具体参数和word2vec比较类似，具体用法可以见
https://github.com/stanfordnlp/GloVe/blob/master/demo.sh。

Reference

[1] (Paper) GloVe: Global Vectors for Word Representation
[2] CS224N Lecture 3 | GloVe: Global Vectors for Word Representation
[3] GloVe Github
[4] word co-occurrence and theory of meaning
[5] Bag-of-words_model
[6] 奇异值分解(SVD)原理详解及推导
[7] 强大的矩阵奇异值分解(SVD)及其应用
[8] We Recommend a Singular Value Decomposition

费尽心思写了一个自己不那么喜欢的模型感觉有些奇怪，不过这是一篇很励志的paper和算法，它告诉我两个道理：
1. 发吊文章不一定需要特别吊的算法，也可以在老算法上改进一下，没准就很厉害
2. 斯坦福的厉害人物偶尔也会划划水
当然GloVe本身很厉害，只是写完了文章，调侃一下。

GloVe:另一种Word Embedding方法相关推荐

Word Embedding与Word2Vec学习
一.词嵌入背景 Embed这个词,英文的释义为, fix (an object) firmly and deeply in a surrounding mass, 也就是"嵌入"之 ...
Word Embedding（一）NNLM、word2vec、GloVe
文章目录前言 NNLM word2vec Skip-Gram CBOW GloVe 前言 2018年 NLP 领域最大的突破毫无疑问是 BERT 预训练模型的提出,它刷新了11项 NLP 任务,本文 ...
词向量Word Embedding原理及生成方法
前言 Word Embedding是整个自然语言处理(NLP)中最常用的技术点之一,广泛应用于企业的建模实践中.我们使用Word Embedding能够将自然文本语言映射为计算机语言,然后输入到神经网 ...
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
本文可以任意转载,转载时请标明作者和出处. 张俊林 2018-11-11 (如果图片浏览有问题可以转至:知乎版本) Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高 ...
word2vec和word embedding有什么区别?
目录〇.序一.DeepNLP的核心关键:语言表示(Representation) 二.NLP词的表示方法类型三.NLP语言模型四.词的分布式表示五.词嵌入( word embedding) ...
Word Embedding的通俗解释
**Word Embedding是NLP中最频繁出现的词了,关于word embedding,其实很简单. word embedding的意思是:给出一个文档,文档就是一个单词序列比如 "A ...
NLP-词向量(Word Embedding)-2013：Word2vec模型（CBOW、Skip-Gram）【对NNLM的简化】【层次Softmax、负采样、重采样】【静态表示；无法解决一词多义】
一.文本的表示方法 (Representation) 文本是一种非结构化的数据信息,是不可以直接被计算的.因为文本不能够直接被模型计算,所以需要将其转化为向量. 文本表示的作用就是将这些非结构化的信息 ...
【深度学习】从Word Embedding到Bert模型
Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得.那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角 ...
从Word Embedding到Bert模型：自然语言处理中的预训练技术发展史
转:https://zhuanlan.zhihu.com/p/49271699 作者:张俊林专栏:深度学习前沿笔记目录: 1.图像领域的预训练 2.Word Embedding考古史 3.从Wor ...

最新文章

热门文章