python文档相似性比较代码_Python使用gensim计算文档相似性
pre_file.py
#-*-coding:utf-8-*-
import MySQLdb
import MySQLdb as mdb
import os,sys,string
import jieba
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
#连接数据库
try:
conn=mdb.connect(host='127.0.0.1',user='root',passwd='kongjunli',db='test1',charset='utf8')
except Exception,e:
print e
sys.exit()
#获取cursor对象操作数据库
cursor=conn.cursor(mdb.cursors.DictCursor) #cursor游标
#获取内容
sql='SELECT link,content FROM test1.spider;'
cursor.execute(sql) #execute()方法,将字符串当命令执行
data=cursor.fetchall()#fetchall()接收全部返回结果行
f=codecs.open('C:\Users\kk\Desktop\hello-result1.txt','w','utf-8')
for row in data: #row接收结果行的每行数据
seg='/'.join(list(jieba.cut(row['content'],cut_all='False')))
f.write(row['link']+' '+seg+'\r\n')
f.close()
cursor.close()
#提交事务,在插入数据时必须
jiansuo.py
#-*-coding:utf-8-*-
import sys
import string
import MySQLdb
import MySQLdb as mdb
import gensim
from gensim import corpora,models,similarities
from gensim.similarities import MatrixSimilarity
import logging
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
con=mdb.connect(host='127.0.0.1',user='root',passwd='kongjunli',db='test1',charset='utf8')
with con:
cur=con.cursor()
cur.execute('SELECT * FROM cutresult_copy')
rows=cur.fetchall()
class MyCorpus(object):
def __iter__(self):
for row in rows:
yield str(row[1]).split('/')
#开启日志
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
Corp=MyCorpus()
#将网页文档转化为tf-idf
dictionary=corpora.Dictionary(Corp)
corpus=[dictionary.doc2bow(text) for text in Corp] #将文档转化为词袋模型
#print corpus
tfidf=models.TfidfModel(corpus)#使用tf-idf模型得出文档的tf-idf模型
corpus_tfidf=tfidf[corpus]#计算得出tf-idf值
#for doc in corpus_tfidf:
#print doc
###
'''
q_file=open('C:\Users\kk\Desktop\q.txt','r')
query=q_file.readline()
q_file.close()
vec_bow=dictionary.doc2bow(query.split(' '))#将请求转化为词带模型
vec_tfidf=tfidf[vec_bow]#计算出请求的tf-idf值
#for t in vec_tfidf:
# print t
'''
###
query=raw_input('Enter your query:')
vec_bow=dictionary.doc2bow(query.split())
vec_tfidf=tfidf[vec_bow]
index=similarities.MatrixSimilarity(corpus_tfidf)
sims=index[vec_tfidf]
similarity=list(sims)
print sorted(similarity,reverse=True)
encodings.xml
misc.xml
modules.xml
python文档相似性比较代码_Python使用gensim计算文档相似性相关推荐
- 读懂python代码_Python面试|一文让你读懂if __name__==’__main__’的含义
程序入口 对于很多编程语言来说,程序都必须要有一个入口,比如 C,C++,以及完全面向对象的编程语言 Java,C# 等.如果你接触过这些语言,对于程序入口这个概念应该很好理解,C 和 C++ 都需要 ...
- python同时注释多行代码_python怎么同时对多行代码进行注释
学会向程序中添加必要的注释,也是很重要的.注释不仅可以用来解释程序某些部分的作用和功能(用自然语言描述代码的功能),在必要时,还可以将代码临时移除,是调试程序的好帮手. 当然,添加注释的最大作用还是提 ...
- python都用什么写代码_python都用什么写代码
各位 Pythoner 好啊!在这个烦躁的时代,相聚就是缘分,很高兴各位 Pythoner 能相聚于此,希望接下来的路,我们一起走下去,使用 Python 来做一些有趣的事情,有意义的事情. 我们在使 ...
- python输出图形效果的代码_python打印图形大全(详解)
原博文 2019-04-13 23:48 − 1)for i in range(0,10): shixin=chr(9679) print(shixin) -------------------结果: ...
- python哆啦a梦完整代码_Python执笔画图,代码一跑,哆啦A梦就出来了!
环境: python 3.6 sublime text 3 turtle模块 核心就是turtle模块,它可以让你使用海龟图形(turtle graphics)绘制图像. 先介绍下关于它的使用方法: ...
- python turtle画彩虹的代码_Python使用turtle绘制国旗,Python图片转换位字符画
这篇文章主要是整合一些趣味代码,一方面自己对这些内容比较感兴趣,另一方面希望这些代码能提升大家的编程兴趣. 一.Python使用turtle绘制国旗 代码如下: 运行结果如下所示,它是动态绘制过程. ...
- python 给word添加背景图片_Python如何使用word文档插入图片和表格
Python如何使用word文档插入图片和表格 发布时间:2020-10-26 13:49:29 来源:亿速云 阅读:101 作者:挣扎的蓝藻 这篇文章运用简单易懂的例子给大家介绍Python如何使用 ...
- python下载图片到文件夹_python实现解析markdown文档中的图片,并且保存到本地~
背景 前阵子简书好像说是凉了,搞得我有点小慌,毕竟我的大部分博客都是放在简书上面的,虽然简书提供了打包导出功能,但是只能导出文字,图片的话还是存在简书服务器上面,再加上我一直想要重新做一个个人博客,于 ...
- python运行不了程序代码_python怎么运行代码程序
展开全部 一.使用Python的解释器: 1.安装python一般都会有一个交互式32313133353236313431303231363533e78988e69d8331333433653964解 ...
最新文章
- android软件开发考试,Android软件工程师笔试题(全选择题)【0-1年经验】
- python中时间的处理
- MySQL安装 MySQL5.7.10免安装版配置,mysql5.7.10免安装版
- 吴恩达教授机器学习课程笔记【八】- Part 8 感知器和大间隔分类器(在线学习感知器算法错分类次数上界及其证明)
- 04_zookeeper客户端使用及常用命令
- python中eval函数和str函数
- Fiddler4的下载与安装
- 干货流出|腾讯内部几近满分的项目管理课程PPT
- 理解 BLS 签名算法
- 服务器IP被封怎么办
- 4.3.2 Calculating and Applying VaR
- pdf转换成jpg python_怎样利用python将pdf转换成jpg格式
- ss客户端以及tcp,udp,dns代理ss-tproxy本地安装版--centos7.3 x64以上(7.3-7.6x64测试通过)...
- java 中常用英语_java中常用英语
- 2022年中级会计中级经济学法考试复习题及答案
- arcgis中字段的融合_利用ArcGis进行地理处理之三(融合)
- 拼写纠错(Spelling Correct)技术方案总结
- 关于poi/Npoi创建批注后,EXCEL不能显示,wps能显示的问题
- 如何操作 WebOffice.ocx
- 1.4_6 Axure RP 9 for mac 高保真原型图 - 案例5 【旋转的唱片3】进度条_滚动
热门文章
- 2021-11-03如何删除文件夹名中间有【空格】及后边带有“..”的文件夹
- 关于取整符号(二叉树具有n个结点的m次树的最小高度⌈logₘ(n(m-1)+1)⌉)
- 2020年中国数字减影血管造影系统(DSA)市场现状分析,DSA设备需求不断提升「图」
- 常见的拖垮中小公司技术团队的10宗罪
- 前端实现实时消息提醒消息通知
- VMware workstation批量创建虚拟机和自动化安装操作系统(二)
- php显示汉字,在php中如何显示汉字?
- win10 64位注册TeeChart8.ocx
- 互联网数据中心——IDC(Internet Data Center)
- repost ubuntu 16.04安装TP-LINK TL-WDN5200H无线USB网卡驱动