word2vec实例详解python_Python实现word2Vec model过程解析

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'

if os.path.exists(fname):

# load the file if it has already been trained, to save repeating the slow training step below

model = gensim.models.Word2Vec.load(fname)

else:

# can take a few minutes, grab a cuppa

model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)

model.save(fname)

words = "woman women man girl boy green blue".split()

for w1 in words:

for w2 in words:

print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))

print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec，所以我们直接开始建立模型

这是建立模型的过程，最后会出现saving Word2vec的语句，代表已经成功建立了模型

这是输入了 gorvement和news关键词后所反馈的词语 --- administration，他们之间的相关性是0.508

当我在输入 women 和 man ，他们显示的相关性的0.638 ，已经是非常高的一个数字。

值得一提的是，我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话，可以自己建立该模型，通过传入不同的语料库，来calc 一些term的相关性噢

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

word2vec实例详解python_Python实现word2Vec model过程解析相关推荐

word2vec实例详解python_在python下实现word2vec词向量训练与加载实例
项目中要对短文本进行相似度估计,word2vec是一个很火的工具.本文就word2vec的训练以及加载进行了总结. word2vec的原理就不描述了,word2vec词向量工具是由google开发的, ...
java读取本地文件_java 读取本地文件实例详解
java 读取本地文件实例详解用javax.xml.w3c解析实例代码: package cn.com.xinli.monitor.utils; import org.w3c.dom.Docume ...
java 读取本地文件_java 读取本地文件实例详解
java 读取本地文件实例详解用javax.xml.w3c解析实例代码: package cn.com.xinli.monitor.utils; import org.w3c.dom.Docume ...
Word2Vec原理详解
Word2Vec原理详解摘要 Word2Vec的Intuition 表示单词间的相似度 Word2Vec的模型 Negative Sampling 参考资料摘要一般来说表示词向量最简单的方式就是 ...
【查询】—Entity Framework实例详解
Entity Framework 查询使用集成查询,简称LINQ.LINQ是一个查询框架,并不限于Entity Framework使用,同样不限于数据库.LINQ Provider 负责将LINQ查询 ...
angularjs directive 实例详解
angularjs directive 实例详解张映发表于 2014-03-13 前面提到了angularjs的factory,service,provider,这个可以理解成php的model ...
php 实例规范,PHP开发规范实例详解
本文主要和大家分享PHP开发规范实例详解,希望能帮助到大家. 源文件代码使用<?php开头 ,忽略闭合标签?> 文件格式必须是无BOM UTF-8格式一个文件只声明一种类型,如clas ...
怎么创建python django项目_创建Django项目图文实例详解
本文实例讲述了创建Django项目的方法.分享给大家供大家参考,具体如下: 创建Django项目创建一个HelloDjango项目 GitHub地址:https://github.com/liang ...
一对一关联查询注解@OneToOne的实例详解
表的关联查询比较复杂,应用的场景很多,本文根据自己的经验解释@OneToOne注解中的属性在项目中的应用.本打算一篇博客把增删改查写在一起,但是在改的时候遇到了一些问题,感觉挺有意思,所以写下第二篇专 ...

word2vec实例详解python_Python实现word2Vec model过程解析

word2vec实例详解python_Python实现word2Vec model过程解析相关推荐

最新文章

热门文章