1. tf-idf（每个文档形成一个tfidf向量）
2. 仅频率（每个文档形成一个频率值向量）
3. 仅出现与否（每个文档形成一个出现与否的二元向量）
4. Word2vec模型（每个词形成一个向量）
5. Doc2vec模型（每个词或者句子形成一个向量，可以出现未登录词）
6. N元模型（n-gram）
附录：gensim.models中的所有模型简介

本文对Python的第三方库gensim中的文档相似度计算方法进行探索。
官方文档见：
https://github.com/RaRe-Technologies/gensim/tree/develop/gensim/models

1. tf-idf（每个文档形成一个tfidf向量）

# 引入第三方库
import jieba
import os
import jieba.posseg as pseg
from gensim import corpora, models, similarities
import math
import pandas as pd
import matplotlib.pyplot as plt#约定俗成的写法plt
import numpy as np
from tqdm import tqdm
import datetime
import seaborn as sns
sns.set(font='SimSun',font_scale=1.5, palette="muted", color_codes=True, style = 'white')#字体  Times New Roman   SimHei
#解决中文显示问题
plt.rcParams['font.sans-serif']=['SimSun']
plt.rcParams['axes.unicode_minus'] = False
plt.rcParams['mathtext.fontset'] = 'cm'
# %matplotlib inline
from scipy import sparse

整个流程：

# 1. 引入数据
df = pd.read_csv('noun_index.csv')
text = df[['text_need']].to_list()
texts = [eval(i) for i in texts]
# 2、基于文件集建立【词典】，并提取词典特征数
dictionary = corpora.Dictionary(texts)
# 可以查看每个词对应的index
# dictionary.token2id
feature_cnt = len(dictionary.token2id.keys())
# 3、基于词典，将【分词列表集】转换为【稀疏向量集】，也就是【语料库】
corpus = [dictionary.doc2bow(text) for text in texts]# corpus#列表的列表，每个元素代表位置+频率
# 4. 训练tf-idf模型
tfidf_model = models.TfidfModel(corpus)
# 5. 用训练好的tf-idf模型，计算每个文档的tfidf值向量
corpus_tfidf = tfidf_model[corpus]
# 6. 计算给定tf-idf模型下的相似度模型（index）
index = similarities.SparseMatrixSimilarity(corpus_tfidf, num_features=len(dictionary.keys()))

① 计算corpus中的一个文档与corpus中每个文档的相似度：

i = 0 # 看第一篇文档跟corpus中所有文档的相似度
doc_text_vec = corpus[i]
sim = index[tfidf_model[doc_text_vec]]# 一个向量，长度是corpus所有文档的数量，0号文档与0号文档的相似度为1

计算的结果sim是：

array([9.9999988e-01, 2.3108754e-08, 1.1747384e-02, ..., 1.2266420e-01,1.4046666e-02, 9.9481754e-02], dtype=float32)

② 计算任意一个字符串与corpus中每个文档的相似度：

#测试字符串分词并获取词袋函数
test_string='少年进步则国进步'
test_doc_list=[word for word in jieba.cut(test_string)]
test_doc_vec = dictionary.doc2bow(test_doc_list)
sim=index[tfidf_model[test_doc_vec]]

返回的结果sim是：

array([0.        , 0.        , 0.        , ..., 0.        , 0.01903304,0.        ], dtype=float32)

2. 仅频率（每个文档形成一个频率值向量）

与tf-idf模型的前半部分处理过程一致，但是不将频率向量训练为tf-idf向量。

# 0. 引入数据
df = pd.read_csv('noun_index.csv')
text = df[['text_need']].to_list()
texts = [eval(i) for i in texts]
# 1、基于文件集建立【词典】，并提取词典特征数
dictionary = corpora.Dictionary(texts)
# 可以查看每个词对应的index
# dictionary.token2id
feature_cnt = len(dictionary.token2id.keys())
# 2、基于词典，将【分词列表集】转换为【稀疏向量集】，也就是【语料库】
corpus = [dictionary.doc2bow(text) for text in texts]# corpus#列表的列表，bow: 每个元素代表位置+频率; idx:每个元素的非零位置
# 3、取出其中2个向量（以稀疏向量形式来表示）
from scipy import sparse
vector = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result = corpus[0]
for i in range(len(result)):vector[0,result[i][0]] = result[i][-1]vector1 = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result1 = corpus[1]
for i in range(len(result1)):vector1[0,result1[i][0]] = result1[i][-1]```
# 4、计算二者的余弦相似度
from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity(vector,vector1)

返回的结果sim为：

array([[0.32762548]], dtype=float32)

3. 仅出现与否（每个文档形成一个出现与否的二元向量）

与tf-idf模型的前半部分处理过程类似，但是不采用频率向量，而是采用0-1向量（出现该单词取1否则为0），也不将二元向量训练为tf-idf向量。

# 0. 引入数据
df = pd.read_csv('noun_index.csv')
text = df[['text_need']].to_list()
texts = [eval(i) for i in texts]
# 1、基于文件集建立【词典】，并提取词典特征数
dictionary = corpora.Dictionary(texts)
# 可以查看每个词对应的index
# dictionary.token2id
feature_cnt = len(dictionary.token2id.keys())
# 2、基于词典，将【分词列表集】转换为【稀疏向量集】，也就是【语料库】
corpus = [dictionary.doc2idx(text) for text in texts]# corpus#列表的列表，bow: 每个元素代表位置+频率; idx:每个元素的非零位置
# 3、取出其中2个向量（以稀疏向量形式来表示）
from scipy import sparse
vector = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result = corpus[0]
for i in range(len(result)):vector[0,result[i]] = 1vector1 = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result1 = corpus[1]
for i in range(len(result1)):vector1[0,result[i]] = 1
# 4、计算二者的余弦相似度
from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity(vector,vector1)

返回的结果sim为：

array([[0.5463583]], dtype=float32)

4. Word2vec模型（每个词形成一个向量）

给定一个文档集合，计算出由神经网络映射出的每个词的向量表示（向量的长度自己指定）

from gensim.test.utils import common_texts
from gensim.models import Word2Vec
model = Word2Vec(sentences=common_texts, vector_size=100, window=5, min_count=1, workers=4)# 指定向量长度为100
vector = model.wv['computer']  # get numpy vector of a word
vector1 = model.wv['system']  # get numpy vector of a word
np.dot(vector,vector1)/(np.linalg.norm(vector)*np.linalg.norm(vector1))
>>> 0.21617143
sim = model.wv.most_similar('computer', topn=10)  # get other similar words

返回的结果sim是：

[('system', 0.21617142856121063),('survey', 0.044689204543828964),('interface', 0.015203374437987804),('time', 0.0019510634010657668),('trees', -0.03284314647316933),('human', -0.0742427185177803),('response', -0.09317589551210403),('graph', -0.09575346112251282),('eps', -0.10513807088136673),('user', -0.16911624372005463)]

5. Doc2vec模型（每个词或者句子形成一个向量，可以出现未登录词）

Doc2vec也可以叫做 Paragraph Vector、Sentence Embeddings，它可以获得词、句子、段落和文档的向量表达，是Word2Vec的拓展。

from gensim.test.utils import common_texts
from gensim.models.doc2vec import Doc2Vec, TaggedDocumentdocuments = [TaggedDocument(doc, [i]) for i, doc in enumerate(common_texts)]
model = Doc2Vec(documents, vector_size=5, window=2, min_count=1, workers=4)# 指定向量长度为5
vector = model.infer_vector(["system", "response"])
vector1 =  model.infer_vector(['human', 'interface', 'computer'])
from scipy import spatial
sim = 1 - spatial.distance.cosine(vector, vector1)

返回的结果sim是：

0.44926005601882935

6. N元模型（n-gram）

相比于词袋模型，N元模型考虑了词与前后词之间的联系，gensim.models.phrases模型可以构建和实现bigram，trigram，quadgram等，提取文档中经常出现的2个词，3个词，4个词。

# 1. 引入数据
df = pd.read_csv('noun_index.csv')
text = df[['text_need']].to_list()
texts = [eval(i) for i in texts]
# 2. 将每个文档的词向量，转换为2元模型的词向量形式（部分词会连接起来，所以总长度会变短）
bigram = models.Phrases(texts)
texts = [bigram[line] for line in texts]
# 3、建立词典、语料库，后续操作和之前tfidf/仅频率/仅出现与否模型的类似了
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
# 4、取出其中2个向量（以稀疏向量形式来表示）
from scipy import sparse
vector = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result = corpus[0]
for i in range(len(result)):vector[0,result[i][0]] = result[i][-1]vector1 = sparse.dok_matrix((1,len(dictionary)), dtype=np.float32)
result1 = corpus[1]
for i in range(len(result1)):vector1[0,result1[i][0]] = result1[i][-1]
# 5、计算二者的余弦相似度
from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity(vector,vector1)

返回的结果sim为：

array([[0.3840464]], dtype=float32)

附录：gensim.models中的所有模型简介

atmodel#author-topic model basemodel#BaseTopicModel
coherencemodel#Calculate topic coherence for topic models.
doc2vec#word2vec的进阶版
doc2vec_corpusfile
doc2vec_inner
ensemblelda# topic modelling is to find a set of topics that represent the global structure of a corpus of documents.
fasttext# This module allows training word embeddings from a training corpus with the additional ability to obtain word vectors for out-of-vocabulary words.
fasttext_corpusfile
fasttext_inner
hdpmodel# Module for online Hierarchical Dirichlet Processing
keyedvectors# sets of vectors keyed by lookup tokens/ints, and various similarity look-ups.
lda_dispatcher
lda_worker
ldamodel# For a faster implementation of LDA (parallelized for multicore machines), see also gensim.models.ldamulticore.
ldamulticore
ldaseqmodel
logentropy_model#This module allows simple Bag of Words (BoW) represented corpus to be transformed into log entropy space.
lsi_dispatcher lsi_worker lsimodel# Implements fast truncated SVD (Singular Value Decomposition)
nmf# Online Non-Negative Matrix Factorization.
nmf_pgd normmodel# Compute the l1 or l2 normalization
by normalizing separately for each document in a corpus.
phrases
poincare
rpmodel#For theoretical background on Random Projections
tfidfmodel# vector space bag-of-words models.
translation_matrix
word2vec # the word2vec family of algorithms, include skip-gram and CBOW models
word2vec_corpusfile
word2vec_inner

Python自然语言处理：文档相似度计算（gensim.models）相关推荐

向量空间模型(VSM)在文档相似度计算上的简单介绍
向量空间模型(VSM:Vector space model)是最常用的相似度计算模型,在自然语言处理中有着广泛的应用,这里简单介绍一下其在进行文档间相似度计算时的原理. 假设共有十个词:w1,w2 ...
vsm java_向量空间模型(VSM)在文档相似度计算上的简单介绍
C#实现在: 向量空间模型(VSM:Vector space model)是最常用的相似度计算模型,在自然语言处理中有着广泛的应用,这里简单介绍一下其在进行文档间相似度计算时的原理. 假设共有十个词: ...
java文档相似度计算,计算文档与文档的相似度
最近帮很多本科毕业生做文本数据分析,经常遇到的一个需求是计算文档相似度. 思路: 抽取语料(所有文档)中的词语,构建词典(词语与数字对应起来). 根据构建的词典对每个文档进行重新编码(将文档转化为向量 ...
WMD：基于词向量的文档相似度计算
EMD算法简介该部分引用自[1] Earth Mover's Distance (EMD),和欧氏距离一样,他们都是一种距离度量的定义,可以用来测量某分布之间的距离.EMD主要应用在图像处理和语音信 ...
使用JS距离实现LDA文档相似度计算
问题提出: [1] [2] 实现源码: topicmodel = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, ...
使用spark计算文档相似度
2019独角兽企业重金招聘Python工程师标准>>> 1.TF-IDF文档转换为向量以下边三个句子为例罗湖发布大梧桐新兴产业带整体规划深化伙伴关系,增强发展动力为世界经济发 ...
word2vec相似度计算_文档相似度助力搜索引擎
几种简单相似度算法: 1.简单共有词判断假设现有文本A和B,将A.B经过分词.去停用词之后形成集合A={a1,a2,...,an}和集合B={b1,b2,...,bn}.用NUM(A∩B)表示集合A ...
文档相似度之词条相似度word2vec、及基于词袋模型计算sklearn实现和gensim
文档相似度之词条相似度word2vec.及基于词袋模型计算sklearn实现和gensim 示例代码: import jieba import pandas as pd from gensim.mod ...
python docx 合并文档图片_Python+pymupdf处理PDF文档案例6则
推荐图书:<Python程序设计(第3版)>,(ISBN:978-7-302-55083-9),清华大学出版社,2020年6月第1次印刷,7月第2次印刷京东购买链接:https://it ...

Python自然语言处理：文档相似度计算（gensim.models）

目录

1. tf-idf（每个文档形成一个tfidf向量）

2. 仅频率（每个文档形成一个频率值向量）

3. 仅出现与否（每个文档形成一个出现与否的二元向量）

4. Word2vec模型（每个词形成一个向量）

5. Doc2vec模型（每个词或者句子形成一个向量，可以出现未登录词）

6. N元模型（n-gram）

附录：gensim.models中的所有模型简介

Python自然语言处理：文档相似度计算（gensim.models）相关推荐

最新文章

热门文章