Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)

# -*- coding: utf-8 -*-
#Gensim入门教程from gensim import corpora,models,similarities
texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']]
#以上大列表中，每个自列表代表一个文本分词后的结果
def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#这个应该是分词后的结果，Dictionary用来去重
corpus = [dictionary.doc2bow(text)for text in texts]
print_dict(dict(dictionary.items()))
print("------------------------------------------------")
print("file numbers=",dictionary.num_docs)
print("------------------------------------------------")
#返回的结果中，全部都是list，可以看到，corpus下标是0~8，表示文本数目是9个
#返回的list中的元祖()中，是(id,在单个文本中出现该word的次数)、
#而一个list中包含的tuple数量=分词后word数量-重复的word数量
#举例：['human', 'interface', 'computer','interface']这个文本的
#分词后word数量是4个，而由于interface重复了一次，所以tuple数量=4-1=3
# 所以最终对应的corpus[0]输出的list中是3个tuple，而不是4个
print corpus[0]
print corpus[1]
print corpus[2]
print corpus[3]
print corpus[4]
print corpus[5]
print corpus[6]
print corpus[7]
print corpus[8]
print("--------------------------------------------------")
tfidf=models.TfidfModel(corpus)#输入稀疏矩阵
print tfidf#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每个文件中不重复词个数的和
corpus_tfidf=tfidf[corpus]
query='human science good interface'
#下面是把询问的问题转化为稀疏向量
print("--------------------------------------------------")
vec_bow=dictionary.doc2bow(query.split())
print vec_bow
vec_tfidf=tfidf[vec_bow]
print vec_tfidf#这个结果是把query的词汇中，筛选出属于dictionary的部分，然后分别计算tf-idf值
print("----------------以下三行代码计算query和候选文本的相似度----------待会这里测试下复旦新闻数据集-----------------------")index=similarities.MatrixSimilarity(corpus_tfidf)#similarities是一个函数名，不要自己卵用
print "index=",index
sims=index[vec_tfidf]
print "sims=",sims#输出列表，元素数量=文本数量
print("---------------------------")
similarity=list(sims)#输出列表，元素数量=文本数量
print "similarity=",similarity
print("----------------以上三行代码计算query和候选文本的相似度----------待会这里测试下复旦新闻数据集-----------------------")
store_path='/home/appleyuchi/coai_fudan/storefile.txt'
sim_file=open(store_path,'w')
for i in similarity:sim_file.write(str(i)+'\n')
sim_file.close()

如果使用LSI模型，那么：

# -*- coding: utf-8 -*-
#Gensim入门教程from gensim import corpora,models,similarities
texts = [['human', 'interface', 'computer','interface'],['survey', 'user', 'computer', 'system', 'response', 'time'],['eps', 'user', 'interface', 'system'],['system', 'human', 'system', 'eps'],['user', 'response', 'time'],['trees'],['graph', 'trees'],['graph', 'minors', 'trees'],['graph', 'minors', 'survey']]
#以上大列表中，每个自列表代表一个文本分词后的结果
def print_dict(dict):for key in dict:print type(key),key,str(dict[key]),'\n'printdictionary = corpora.Dictionary(texts)#这个应该是分词后的结果，Dictionary用来去重
corpus = [dictionary.doc2bow(text)for text in texts]
print_dict(dict(dictionary.items()))
print("------------------------------------------------")
print("file numbers=",dictionary.num_docs)
print("------------------------------------------------")
#返回的结果中，全部都是list，可以看到，corpus下标是0~8，表示文本数目是9个
#返回的list中的元祖()中，是(id,在单个文本中出现该word的次数)、
#而一个list中包含的tuple数量=分词后word数量-重复的word数量
#举例：['human', 'interface', 'computer','interface']这个文本的
#分词后word数量是4个，而由于interface重复了一次，所以tuple数量=4-1=3
# 所以最终对应的corpus[0]输出的list中是3个tuple，而不是4个
print corpus[0]
print corpus[1]
print corpus[2]
print corpus[3]
print corpus[4]
print corpus[5]
print corpus[6]
print corpus[7]
print corpus[8]
print("--------------------------------------------------")
lsi=models.LsiModel(corpus)#输入总文本的稀疏矩阵
print lsi#TfidfModel(num_docs=9, num_nnz=28),num_nnz是每个文件中不重复词个数的和
corpus_lsi=lsi[corpus]
query='human science good interface'
#下面是把询问的问题转化为稀疏向量
print("--------------------------------------------------")
vec_bow=dictionary.doc2bow(query.split())
print vec_bow
vec_lsi=lsi[vec_bow]
print vec_lsi#这个结果是把query的词汇中，筛选出属于dictionary的部分，然后分别计算tf-idf值
print("----------------以下三行代码计算query和候选文本的相似度---------------------------------")index=similarities.MatrixSimilarity(corpus_lsi)#similarities是一个函数名，不要自己卵用
print "index=",index
sims=index[vec_lsi]
print "sims=",sims#输出列表，元素数量=文本数量
print("---------------------------")
similarity=list(sims)#输出列表，元素数量=文本数量
print "similarity=",similarity
print("----------------以上三行代码计算query和候选文本的相似度----------------------------")
store_path='/home/appleyuchi/coai_fudan/storefile.txt'
sim_file=open(store_path,'w')
for i in similarity:sim_file.write(str(i)+'\n')
sim_file.close()

Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)相关推荐

python鸭制作类代码_详细解释ducktyping鸭子类型程序设计与Python的实现
在程序设计中,鸭子类型(英语:duck typing)是动态类型的一种风格.在这种风格中,一个对象有效的语义,不是由继承自特定的类或实现特定的接口,而是由当前方法和属性的集合决定. 这个概念的名字来源 ...
吴恩达机器学习神经网络作业1(用已经求好的权重进行手写数字分类) Python实现代码详细解释
整个项目的github:https://github.com/RobinLuoNanjing/MachineLearning_Ng_Python 里面可以下载进行代码实现的数据集题目介绍: In t ...
吴恩达机器学习逻辑回归作业3(手写数字分类) Python实现代码详细解释
整个项目的github:https://github.com/RobinLuoNanjing/MachineLearning_Ng_Python 里面可以下载进行代码实现的数据集题目介绍: In t ...
吴恩达机器学习逻辑回归作业2(芯片预测) Python实现代码详细解释
整个项目的github:https://github.com/RobinLuoNanjing/MachineLearning_Ng_Python 里面可以下载进行代码实现的数据集题目介绍: In t ...
python模板代码替换_Python - 安全替换字符串模板(safe_substitute) 详细解释
安全替换字符串模板(safe_substitute) 详细解释本文地址: http://blog.csdn.net/caroline_wendy/article/details/27057339 字 ...
《算法竞赛入门经典》（第二版）代码及详细解释（持续更新！）
笔者中山大学硕士,医学生+计科学生的集合体,机器学习爱好者. 现发布[刘汝佳<算法竞赛入门经典>(第二版)--紫书]的例题和习题的代码和详细解释. 欢迎批评指正! 另外欢迎关注本人微信公众 ...
单指标时间序列异常检测——基于重构概率的变分自编码（VAE）代码实现（详细解释）
1. 编写目的不少论文都是基于VAE完成的异常检测,比如 Donut .Bagel.尽管 Donut 实现的模型很容易通过继承于重写父类方法的方式实现一个 VAE-baseline,并且 Bagel ...
PointNet代码详细解释(Pytorch版本)
pointnet.pytorch的代码详细解释 1. PointNet的Pytorch版本代码解析链接 2. 代码解释 2.1 代码结构思维导图 2.2 代码注释 2.2.1 build.sh 2.2 ...
【机器学习】交叉验证详细解释+10种常见的验证方法具体代码实现+可视化图
[机器学习]交叉验证详细解释+10种常见的验证方法具体代码实现+可视化图一.使用背景由于在训练集上,通过调整参数设置使估计器的性能达到了最佳状态:但在测试集上可能会出现过拟合的情况. 此时,测试集 ...

Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)

Gensim初步使用和详细解释(该代码只能处理英文,处理中文不可用该代码)相关推荐

最新文章

热门文章