首先需要具备gensim包,然后需要一个语料库用来训练,这里用到的是skip-gram或CBOW方法,具体细节可以去查查相关资料,这两种方法大致上就是把意思相近的词映射到词空间中相近的位置。

语料库test8下载地址:

http://mattmahoney.net/dc/text8.zip

这个语料库是从http://blog.csdn.net/m0_37681914/article/details/73861441这篇文章中找到的。

检查语料是否需要做预处理:
将数据下载好了解压出来,在做词向量之前我们需要了解数据的存储结构,判断它是否满足gensim包里word2vec函数对输入数据的形式要求。word2vec函数的输入最好是一整篇文字,不含标点符号以及换行符。那么我们应该检查test8数据是否符合。然而双击打开test8是行不通的,因为文件过大。那么就需要我们用程序打开它。代码如下:

with open('/text8','r',encoding='utf-8') as file:
for line in file.readlines():
print(line)
程序会返回警告,内存不够,打印不出来。明显是因为有一行内容太多导致的。可以进行如下验证:

with open('/text8','r',encoding='utf-8') as file:
for line in file.readlines():
print(len(line))

输出只有一个值,表示数据只有一行,且显示这一行有100000000个字符长度。由于文件内数据结构一致,那么我们没有必要将数据全部输出来看,只需要输出一部分就知道它的数据结构,那么修改代码如下:

a = 0
b = 0
with open('/text8','r',encoding='utf-8') as file:
line = file.read()
for char in line:
b+=1
print(char,end='')
if b-a == 100:
a = b
print('\n')
if a == 5000:
break
我们输出前5000个字符来看看,并且每100个字符换一行。

这里只是开头一部分,可以看到数据完全没有标点符号,且之前验证过所有数据都是在同一行,表示没有换行符。那么我们无需对数据进行预处理。接下来是数据处理部分。

数据处理部分:
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
sentences = word2vec.Text8Corpus('/text8')
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
model.save('/text82.model')
print(model['man'])
那么
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
这一行表示我们的程序会输出日志信息,形式(format)为日期(asctime):信息级别(levelname):日志信息(message),信息级别为正常信息(logging.INFO)。关于logging的知识,大家可以去自行学习。https://www.cnblogs.com/bjdxy/archive/2013/04/12/3016820.html点击打开链接

上图就是输出的日志信息。实际工作中,我们也可以不加这个日志,但这么做的前提是我们确定程序一定正确,不会出错,因为一旦出错我们就需要根据日志信息来推断错误发生的可能。

将语料库保存在sentence中

sentences = word2vec.Text8Corpus('/text8')
生成词向量空间模型

model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
这里讲下参数含义:

class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, min_count=5,max_vocab_size=None, sample=0.001,seed=1, workers=3,min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1,hashfxn=<built-in function hash>,iter=5,null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)
参数:
1.sentences:可以是一个List,对于大语料集,建议使用BrownCorpus,Text8Corpus或·ineSentence构建。
2.sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。
3.size:是指输出的词的向量维数,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
4.window:为训练的窗口大小,8表示每个词考虑前8个词与后8个词(实际代码中还有一个随机选窗口的过程,窗口大小<=5),默认值为5。
5.alpha: 是学习速率
6.seed:用于随机数发生器。与初始化词向量有关。
7.min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。
8.max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
9.sample: 表示 采样的阈值,如果一个词在训练样本中出现的频率越大,那么就越会被采样。默认为1e-3,范围是(0,1e-5)
10.workers:参数控制训练的并行数。
11.hs: 是否使用HS方法,0表示不使用,1表示使用 。默认为0
12.negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words
13.cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(default)则采用均值。只有使用CBOW的时候才起作用。
14.hashfxn: hash函数来初始化权重。默认使用python的hash函数
15.iter: 迭代次数,默认为5。
16.trim_rule: 用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。
17.sorted_vocab: 如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。
18.batch_words:每一批的传递给线程的单词的数量,默认为10000
这里再把生成的空间模型保存下来,以便下次使用。

model.save('/text8.model')

下次使用就不在需要加载语料库和生成模型了。只需要:

'''
sentences = word2vec.Text8Corpus('/text8')
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
model.save('/text8.model')
'''
model = word2vec.Word2Vec.load('/text8.model')
最后是查看某个词的词向量:

print(model['man'])

当然model函数还可以做更多的事情,比如查看两个词的相似度等等,想知道的请自行百度

gensim的word2vec如何得出词向量(python)相关推荐

  1. 词向量python训练_python gensim 词向量训练笔记

    记录词向量训练过程,备忘(系统ubuntu16.python2.7) 涵盖内容:python rar解压.大文件分解.HDF5文件操作.文本预处理(文本编码.分词处理).多进程.gensim操作. 1 ...

  2. genSIM 导入 txt 格式的词向量参数

    使用genSIM 导入 txt 格式的词向量参数 一.词向量参数格式: 在NLP领域中,有时需要使用现有训练好的word2vec模型,比如斯坦福大学的 glove 模型. 打开glove模型中的一个文 ...

  3. word2vec 构建中文词向量

    2019独角兽企业重金招聘Python工程师标准>>> word2vec 构建中文词向量 词向量作为文本的基本结构--词的模型,以其优越的性能,受到自然语言处理领域研究人员的青睐.良 ...

  4. word2vec预训练词向量+通俗理解word2vec+CountVectorizer+TfidfVectorizer+tf-idf公式及sklearn中TfidfVectorizer

    文章目录 文分类实(一) word2vec预训练词向量 2 数据集 3 数据预处理 4 预训练word2vec模型 canci 通俗理解word2vec 独热编码 word2vec (Continuo ...

  5. tfidf和word2vec构建文本词向量并做文本聚类

    一.相关方法原理 1.tfidf tfidf算法是一种用于文本挖掘.特征词提取等领域的因子加权技术,其原理是某一词语的重要性随着该词在文件中出现的频率增加,同时随着该词在语料库中出现的频率成反比下降, ...

  6. 基于word2vec的中文词向量训练

    基于word2vec的中文词向量训练 使用katex解析的数学公式,csdn好像不支持 word2vec来源 Google开源 可以在百万数量级的词典和上亿的数据集上进行高效地训练 该工具得到的训练结 ...

  7. python自定义类如何定义向量的模_gensim的word2vec如何得出词向量(python)

    首先需要具备gensim包,然后需要一个语料库用来训练,这里用到的是skip-gram或CBOW方法,具体细节可以去查查相关资料,这两种方法大致上就是把意思相近的词映射到词空间中相近的位置. 语料库t ...

  8. python生成词向量_gensim的word2vec如何得出词向量(python)

    首先需要具备gensim包,然后需要一个语料库用来训练,这里用到的是skip-gram或CBOW方法,具体细节可以去查查相关资料,这两种方法大致上就是把意思相近的词映射到词空间中相近的位置. 语料库t ...

  9. 使用word2vec训练中文词向量

    https://www.jianshu.com/p/87798bccee48 一.文本处理流程 通常我们文本处理流程如下: 1 对文本数据进行预处理:数据预处理,包括简繁体转换,去除xml符号,将单词 ...

最新文章

  1. SoapUI进行REST请求,POST方法提交到数据库的数据乱码问题
  2. android获取元素路径,Appium元素定位(name、classname、相对路径、绝对路径\、list)...
  3. 通过DLL使两个工程公用部分代码
  4. mysql换服务器后数据同步_mysql配置主从,主服务器之前的数据可不可以同步过来...
  5. JZOJ 1533. 郁闷的gxg
  6. 桌面计算机密码应由哪项组成,计算机应用能力考试模拟试题
  7. 029 Android WebView的使用(用来显示网页)
  8. csma研究背景_前言 自制8位计算机 项目背景介绍
  9. 如何取消github邮件订阅
  10. 关于想写我与Java的故事,满脑子却都是与JavaCV纠缠不清的那段日子
  11. 中国十大徒步路线,你走过几个?
  12. 显示隐藏Html元素(div等)
  13. 网络空间安全未来就业前景和就业方向,看着六点
  14. spark、hadoop、storm、solr、es在车辆分析上的分析与比较
  15. Oracle数据库(索引、视图、伪列与伪表)
  16. matlab提取wind底层数据库操作
  17. 3D游戏建模基本流程
  18. 2.古体诗的换韵和重韵
  19. Simulink仿真:基于DC DC双向变换器的多电池主动均衡技术
  20. SVN客户端安装配置和使用(windows)

热门文章

  1. 设置select下拉框不可修改的→“四”←种方法
  2. Pytorch使用tensorboardX可视化。超详细
  3. Python zip() 函数
  4. LeetCode简单题之删列造序
  5. 合肥工业大学—SQL Server数据库实验七:数据查询
  6. OpenArkCompiler方舟编译
  7. 机器学习PAL数据预处理
  8. 用OpenCV进行摄像机标定
  9. 用gogs搭建属于自己的git网站
  10. [JS] [编程题] 配置文件恢复