NLP笔记：word2vec简单考察

NLP笔记：word2vec简单考察
- 1. 简介
- 2. word2vec原理介绍
- 3. gensim实现
- 4. tensorflow实现
  - 1. cbow方式
  - 2. skip gram方式
  - 3. 直接生成方式
  - 4. 结论
- 5. pytorch实现
  - 1. cbow方式
  - 2. skip gram方式
- 6. 总结
- 7. 参考链接

1. 简介

word2vec是nlp之中蛮老的一个技术了，讲道理工作了两年多也基本没有用过这个玩意，除了刚开始工作的时候用了一下之后后面基本就是直接训练了。

word2vec顾名思义，其实就是将word从id转换至一个embedding向量，算是一个比较原始的迁移学习方式，从大量的无标注数据中训练出词向量，然后迁移至其他学习任务当中，可以更好地对词向量进行表达。

在早期的nlp任务当中，像是ner啊或者pos等任务当中，我们往往缺乏足够多的标注数据（事实上现在这部分标注数据也不多），因此我们往往会希望通过其他方式预先学习到一些词向量信息，这样就可以减轻模型整体的学习难度，进而优化模型的整体效果。

其中，关于word2vec一个比较有代表性的工作就是glove词向量。

但是当数据量本身足够时，这种方式就显得有些没有必要，更不要说后面以bert为代表的预训练语言模型的出现之后，word2vec技术就显得太过粗糙也没有必要了。

事实上，就笔者个人所知，从18年底之后似乎也就基本再没有在听到过什么相关的工作了。

但无论如何，作为一种早期的预训练词向量技术，这里还是可以来稍微复习一下的，实在不行用来熟练一下tensorflow以及pytorch的coding技术也是可以的

NLP笔记：word2vec简单考察相关推荐

NLP笔记：常用激活函数考察整理
NLP笔记:常用激活函数考察整理 0. 引言 1. 常用激活函数 1. sigmoid 2. softmax 3. relu系列 1. relu 2. leaky relu 3. elu 4. sel ...
【NLP】Word2Vec详解（含数学推导）
word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练:并且,该工具得到的训练结果--词向量(word embedding),可以很好地度量词与词之间的相似性.随着深度学习(Deep L ...
NLP 笔记：Skip-gram
1 skip-gram举例假设在我们的文本序列中有5个词,["the","man","loves","his",&qu ...
NLP之word2vec：利用 Wikipedia Text(中文维基百科)语料+Word2vec工具来训练简体中文词向量
NLP之word2vec:利用 Wikipedia Text(中文维基百科)语料+Word2vec工具来训练简体中文词向量目录输出结果设计思路 1.Wikipedia Text语料来源 2.维基 ...
python自训练神经网络_tensorflow学习笔记之简单的神经网络训练和测试
本文实例为大家分享了用简单的神经网络来训练和测试的具体代码,供大家参考,具体内容如下刚开始学习tf时,我们从简单的地方开始.卷积神经网络(CNN)是由简单的神经网络(NN)发展而来的,因此,我们的第 ...
VC学习笔记：简单绘图
VC学习笔记:简单绘图 SkySeraph Oct.29th 2009 HQU Email-zgzhaobo@gmail.com QQ-452728574 Latest Modified Date ...
STM32F429I-Discovery学习笔记--(1)简单上手和官方例程的下载与使用
STM32F429I-Discovery学习笔记–(1)简单上手和官方例程的下载与使用到手测试收到开发板后我们要首先检查一下外观有没有磕碰破损,排针是否发生弯折,重要的是看一下JP3和CN4处的跳 ...
Tensorflow2学习笔记：简单灰度图分类
Tensorflow2学习笔记:简单灰度图分类相关介绍实验环境实验步骤导入相关库导入数据集浏览数据预处理数据构建模型设置层编译模型训练模型向模型馈送数据评估准确率进行预测 ...
NLP之Word2Vec：Word2Vec算法的简介(CBOW和Skip-Gram及其对比)、安装、使用方法之详细攻略
NLP之Word2Vec:Word2Vec算法的简介(CBOW和Skip-Gram及其对比).安装.使用方法之详细攻略目录 Word2Vec算法的简介 1.Word2Vec算法的概述-更好的文本表示 ...

NLP笔记：word2vec简单考察

1. 简介

NLP笔记：word2vec简单考察相关推荐

最新文章

热门文章