机器学习算法Python实现：gensim里的similarities文本相似度计算

# -*- coding:utf-8 -*
#本代码是在jupyter notebook上实现，author:huzhifei， create time:2018/8/14
#本脚本主要实现了基于python的gensim包里的similarities接口对文本做相似度的项目目的#导入gensim与jieba包
from gensim import corpora, models, similarities
import jieba#去除中英停用词
def get_custom_stopwords(stop_words_file):with open(stop_words_file,encoding='utf-8')as f:stopwords=f.read()stopwords_list=stopwords.split('\n')custom_stopwords_list=[i for i in stopwords_list]return custom_stopwords_list#调用停用词函数
stop_words_file="stopwordsHIT.txt"
stopwords=get_custom_stopwords(stop_words_file)
print(len(stopwords))#jieba分词函数
def cut(sentence):generator = jieba.cut(sentence)return [word for word in generator if  word not in stopwords]#连接数据库
import pyodbc
conn = 'DRIVER={SQL Server Native Client 10.0};DATABASE=%s;SERVER=%s;UID=%s;PWD=%s'%('database', 'server', 'username', 'password')mssql_conn = pyodbc.connect(conn)
cur = mssql_conn.cursor()
sql='select  ArticleId, 标题, 摘要, Taskid from tablecur.execute(sql)
listl=cur.fetchall()
cur.close()
mssql_conn.commit()
mssql_conn.close()# 数据处理——将数据库里的数据存入一个list
s=[]
for i in listl:s.append(list(i))# 对上面的s列表的摘要一列文本数据进行分词
t=[]
for line in s:t.append(line[2])
texts = [cut(str(text)) for text in t[:]]# 对分好词的文本数据建立语料词典
dictionary = corpora.Dictionary(texts)
feature_cnt = len(dictionary.token2id.keys())
corpus = [dictionary.doc2bow(text) for text in texts]#对语料进行tfidf计算并对要做相似度的那批文本数据做词典向量转换
tfidf = models.TfidfModel(corpus)
new_vec=[]
for i in t[:]:new_vec.append(dictionary.doc2bow(cut(str(i))))# 相似度计算并对满足条件的数据存入数据库
import pyodbc
import datetime
import time
start = time.time()
conn = 'DRIVER={SQL Server Native Client 10.0};DATABASE=%s;SERVER=%s;UID=%s;PWD=%s'%('database', 'server', 'username', 'password')mssql_conn = pyodbc.connect(conn)
cur = mssql_conn.cursor() sql="insert into table  values (?,?,?,?,?,?,?,?,?)"index = similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=feature_cnt,num_best=50000)
w=[]
insert={}
for k,j in enumerate(new_vec):sim = index[tfidf[j]]for i in range(len(sim)):insert[s[k][0]]=s[sim[i][0]][0]if 0.75<=sim[i][1]<=0.99 and s[sim[i][0]][0] not in insert.keys():#提取了相似度在0.75以上，0.99以下（排除相似度为1的数据自身）的非重复的文本数据cur.execute(sql,(s[k][0],s[k][1],s[k][2],s[sim[i][0]][0],s[sim[i][0]][1],s[sim[i][0]][2],str(s[k][3]),sim[i][1],datetime.datetime.now().strftime('%D')));
cur.close()
mssql_conn.commit()
mssql_conn.close()
end = time.time()
print (end-start)#打印出计算相似度所消耗的时间

机器学习算法Python实现：gensim里的similarities文本相似度计算相关推荐

python文本相似度检测框架_机器学习入门之使用gensim 的 doc2vec 实现文本相似度检测...
本文主要向大家介绍了机器学习入门之使用gensim 的 doc2vec 实现文本相似度检测,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助.环境 Python3, gensim,jieb ...
决策算法python_GitHub - nxety/MachineLearning_Python: 机器学习算法python实现
机器学习算法Python实现目录 1.代价函数其中: 下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近共有m条数据,其中代表我们要拟合出来的方程到真实值距离的平方,平 ...
机器学习算法 | Python实现k-近邻算法
机器学习算法 | Python实现k-近邻算法目录机器学习算法 | Python实现k-近邻算法基本介绍工作原理程序设计参考资料基本介绍 KNN,全名k近邻算法.是⼀种⾮常简单有效的机器 ...
文本相似度计算python lda_如何识别“答非所问”？使用gensim进行文本相似度计算...
在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性. 评论和商品描述的相似度越高,说明评论的用语比较官方,不带太多感情色彩,比较注重描述商品的属性和 ...
文本相似度计算——Simhash算法（python实现）
互联网网页存在着大量重复内容,必须有一套高效的去重算法,否则爬虫将做非常多的无用功,工作时效性无法得到保证,更重要的是用户体验也不好.业界关于文本指纹去重的算法众多,如 k-shingle 算法.go ...
Finding Similar Items 文本相似度计算的算法——机器学习、词向量空间cosine、NLTK、diff、Levenshtein距离...
http://infolab.stanford.edu/~ullman/mmds/ch3.pdf 汇总于此还有这本书 http://www-nlp.stanford.edu/IR-book/ 里面有 ...
如何识别“答非所问”？使用gensim进行文本相似度计算
在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性. 评论和商品描述的相似度越高,说明评论的用语比较官方,不带太多感情色彩,比较注重描述商品的属性和 ...
sklearn tfidf求余弦相似度_【基础算法】文本相似度计算
在自然语言处理中,文本相似度是一种老生常谈而又应用广泛的基础算法模块,可用于地址标准化中计算与标准地址库中最相似的地址,也可用于问答系统中计算与用户输入问题最相近的问题及其答案,还可用于搜索中计算与输 ...
【基础算法】文本相似度计算
在自然语言处理中,文本相似度是一种老生常谈而又应用广泛的基础算法模块,可用于地址标准化中计算与标准地址库中最相似的地址,也可用于问答系统中计算与用户输入问题最相近的问题及其答案,还可用于搜索中计算与输 ...

机器学习算法Python实现：gensim里的similarities文本相似度计算

机器学习算法Python实现：gensim里的similarities文本相似度计算相关推荐

最新文章

热门文章