简介

查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于Python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都有一个C++的实现。

正好我写的一些文章，我没能很好的分类，我想能不能通过聚类的方法将一些相似的文章进行聚类，然后我再看每个聚类大概的主题是什么，给每个聚类一个标签，这样也是完成了分类。

中文文本聚类主要有一下几个步骤，下面将分别详细介绍：

切词
去除停用词
构建词袋空间VSM(vector space model)
TF-IDF构建词权重
使用K-means算法

一、切词

这里中文切词使用的是结巴切词。
github项目主页上有结巴切词的详细安装方式，以及示例说明，这里不再详述，一般情况下，可以使用如下方式安装。

# pip install jieba

或者

# easy_install jieba

二、去除停用词

结巴分词虽然有去除停用词的功能，但是好像只是给jieba.analyse组建使用的，并不给jieba.cut使用，所以这里我们还是要自己构建停用词文件，以及去除停用词。
常见的中文停用词有：
1. 中文停用词表(比较全面,有1208个停用词)
2. 最全中文停用词表整理（1893个）

实现代码如下（代码比较水）：

def read_from_file(file_name):with open(file_name,"r") as fp:words = fp.read()return words
def stop_words(stop_word_file):words = read_from_file(stop_word_file)result = jieba.cut(words)new_words = []for r in result:new_words.append(r)return set(new_words)
def del_stop_words(words,stop_words_set):
#   words是已经切词但是没有去除停用词的文档。
#   返回的会是去除停用词后的文档result = jieba.cut(words)new_words = []for r in result:if r not in stop_words_set:new_words.append(r)return new_words

三、构建词袋空间VSM(vector space model)

接下来是构建词袋空间，我们的步骤如下

将所有文档读入到程序中，再将每个文档切词。
去除每个文档中的停用词。
统计所有文档的词集合（sk-learn有相关函数，但是我知道能对中文也使用）。
对每个文档，都将构建一个向量，向量的值是词语在本文档中出现的次数。
这举个例子，假设有两个文本，1.我爱上海，我爱中国2.中国伟大,上海漂亮
那么切词之后就有一下词语：我，爱，上海，中国，伟大，漂亮，,(逗号也可能被切词)。
再假设停用词是我，，那么去除停用词后，剩余的词语就是
爱，上海，中国，伟大，漂亮
然后我们对文档1和文档2构建向量，那么向量将如下：

文本   爱   上海  中国  伟大  漂亮
文档1 2   1   1   0   0
文档2 0   1   1   1   1

代码如下：

def get_all_vector(file_path,stop_words_set):names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]posts = [ open(name).read() for name in names ]docs = []word_set = set()for post in posts:doc = del_stop_words(post,stop_words_set)docs.append(doc)word_set |= set(doc)#print len(doc),len(word_set)word_set = list(word_set)docs_vsm = []#for word in word_set[:30]:#print word.encode("utf-8"),for doc in docs:temp_vector = []for word in word_set:temp_vector.append(doc.count(word) * 1.0)#print temp_vector[-30:-1]docs_vsm.append(temp_vector)docs_matrix = np.array(docs_vsm)

在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]]，我们尽可能将其放入到numpy的array或者matrix中方便下面TF-IDF的计算。

四、将单词出现的次数转化为权值（TF-IDF）

换句话说，我们的vsm保存的本来已经是向量的形式，我们为什么还需要TF-IDF的形式呢？我认为这就是为了将单词出现的次数转化为权值。
关于TF-IDF的介绍可以参考网上的文章：
1. 基本文本聚类方法
2. TF-IDF百度百科
3. TF-IDF维基百科英文版(需要FQ)

这里需要注意的是关于TF(term frequency)的计算，关于IDF(Inverse document frequency)的计算，我看公式基本上都是一样的：
逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到：
本公式用编辑，推荐一个令人惊叹的网站：Detexify
其中
：语料库中的文件总数
：包含词语的文件数目（即的文件数目）如果该词语不在语料库中，就会导致分母为零，因此一般情况下使用作为分母。

然而百度百科以及网上大部分关于TF的介绍其实是有问题的，TF-IDF百度百科中说词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率，那么很明显这个计算公式就为：

然而这种计算方式常常会导致TF过小，其实TF-IDF并不是只有一种计算方式，而是多种，这个时候就体现出维基百科的威力了，具体的关于TF-IDF的介绍还是要参照维基百科。

如果不熟悉numpy，可以参考numpy官方文档

column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
column_sum = np.array(column_sum)
column_sum = docs_matrix.shape[0] / column_sum
idf =  np.log(column_sum)
idf =  np.diag(idf)
# 请仔细想想，根绝IDF的定义，计算词的IDF并不依赖于某个文档，所以我们提前计算好。
# 注意一下计算都是矩阵运算，不是单个变量的运算。
for doc_v in docs_matrix:if doc_v.sum() == 0:doc_v = doc_v / 1else:doc_v = doc_v / (doc_v.sum())tfidf = np.dot(docs_matrix,idf)return names,tfidf

现在我们拥有的矩阵的性质如下，

列是所有文档总共的词的集合。
每行代表一个文档。
每行是一个向量，向量的每个值是这个词的权值。

五、用K-means算法进行聚类

到这个时候，我们可以使用kmeans算法进行聚类，对kmeans算法来说，它看到已经不是文本了，只是矩阵而已，所以我们用的也是通用的kmeans算法就可以了。
关于kmeans的介绍可以见于如下的文章：
1. 基本Kmeans算法介绍及其实现
2. K-means百度百科
3. 浅谈Kmeans聚类
所不同的是，在大部分的文本聚类中，人们通常用余弦距离（很好的介绍文章）而不是欧氏距离进行计算，难道是因为稀疏矩阵的原因，我并不太明白。

下面的代码来自《机器学习实战》第十章的代码：

def gen_sim(A,B):num = float(np.dot(A,B.T))denum = np.linalg.norm(A) * np.linalg.norm(B)if denum == 0:denum = 1cosn = num / denumsim = 0.5 + 0.5 * cosnreturn sim
def randCent(dataSet, k):n = shape(dataSet)[1]centroids = mat(zeros((k,n)))#create centroid matfor j in range(n):#create random cluster centers, within bounds of each dimensionminJ = min(dataSet[:,j]) rangeJ = float(max(dataSet[:,j]) - minJ)centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))return centroidsdef kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):m = shape(dataSet)[0]clusterAssment = mat(zeros((m,2)))#create mat to assign data points #to a centroid, also holds SE of each pointcentroids = createCent(dataSet, k)clusterChanged = Truecounter = 0while counter <= 50:counter += 1clusterChanged = Falsefor i in range(m):#for each data point assign it to the closest centroidminDist = inf; minIndex = -1for j in range(k):distJI = distMeas(centroids[j,:],dataSet[i,:])if distJI < minDist:minDist = distJI; minIndex = jif clusterAssment[i,0] != minIndex: clusterChanged = TrueclusterAssment[i,:] = minIndex,minDist**2#print centroidsfor cent in range(k):#recalculate centroidsptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this clustercentroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean return centroids, clusterAssment

六、总结

基本上到这里为止，一个可用的中文文本聚类工具已经完成了，github项目地址。
其效果到底怎么样呢？

我自己有一些未分类的文章属于人生感悟（羞羞脸）类别的共有182篇，在切词以及去除停用词之后，共得到13202个词语，我设置K=10，嗯，效果并不是太好，当然可能有一下原因：

文档本身已经属于高度分类的了，基于词频的聚类并不能发现关于这些文章间的细微的区别。
算法需要优化，可能有些地方可以设置修改一下。

总之，在学习若干天机器学习后，第一次实践之旅算是结束了。

python进行中文文本聚类（切词以及Kmeans聚类）相关推荐

基于Python实现中文文本关键词抽取的三种方法课程报告+项目源码及数据
资源下载地址:https://download.csdn.net/download/sheziqiong/85737856 资源下载地址:https://download.csdn.net/downl ...
Python构建基于elkan优化算法的K-Means聚类模型
Python构建基于elkan优化算法的K-Means聚类模型目录 Python构建基于elkan优化算法的K-Means聚类模型 #elkan优化算法
python读入中文文本编码错误
python读入中文文本编码错误 python读入中文txt文本: #coding:utf-8def readFile():fp = open('emotion_dict//neg//neg_all_ ...
Python处理中文文本
Python处理中文文本 author:Ernest 使用Python处理文本是件十分有趣的任务,通过某些操作,你可以自由地获取到你所需要的内容,下面就来看看怎么做吧. 要求 1.选择一部长度合适的小 ...
如何使用python处理中文文本--近几个月的新闻数据分析社会热点并创造词云图
使用python处理中文文本并创造词云图 1.前言利用爬虫爬取网上新闻,评论,并从中分析最近社会热点,是数据科学,人工智能中的热点之一,其中在分析文本中使用词云图,看起来简洁明了,因为如下图出现频率 ...
python音频聚类_用K-means聚类算法实现音调的分类与可视化
本文由伯乐在线 - ggspeed 翻译,耶鲁怕冷校稿.未经许可,禁止转载! 英文出处:jared polivka.欢迎加入翻译组. 利用 K-means 聚类算法来聚类和可视化音调 Galvan ...
聚类算法：K-means聚类与系统（层次）聚类SPSS操作
笔记整理来自清风老师的数学建模课程: https://www.bilibili.com/video/BV1gJ411k7X4?from=search&seid=1537010279875630 ...
Kmeans聚类定义、KMeans聚类的步骤、Kmeans聚类常见问题及改进、Kmeans聚类的变形、Kmeans聚类的优缺点
Kmeans聚类定义.KMeans聚类的步骤.Kmeans聚类常见问题及改进.Kmeans聚类的变形.Kmeans聚类的优缺点目录
基于KMeans聚类的协同过滤推荐算法推荐原理、过程、代码实现 Canopy聚类算法 KMeans+Canopy聚类算法聚类算法程序实现 KMEans聚类算法代码java
基于KMeans聚类的协同过滤推荐算法可运用于基于用户和基于项目的协同过滤推荐算法中,作为降低数据稀疏度和提高推荐准确率的方法之一,一个协同过滤推荐过程可实现多次KMeans聚类. 一.基于KMean ...
学习笔记1 三大聚类方法：K-means聚类、层次聚类、DBSCAN聚类
学习笔记1:三大聚类方法:K-means聚类.层次聚类.DBSCAN聚类文章目录前言一.K-means聚类操作过程二.层次聚类操作过程三.DBSCAN聚类操作过程总结前言在样本数 ...

python进行中文文本聚类（切词以及Kmeans聚类）

简介

一、切词

二、去除停用词

三、构建词袋空间VSM(vector space model)

四、将单词出现的次数转化为权值（TF-IDF）

五、用K-means算法进行聚类

六、总结

python进行中文文本聚类（切词以及Kmeans聚类）相关推荐

最新文章

热门文章

python进行中文文本聚类（切词以及Kmeans聚类）

简介

一、 切词

二、 去除停用词

三、 构建词袋空间VSM(vector space model)

四、 将单词出现的次数转化为权值（TF-IDF）

五、 用K-means算法进行聚类

六、 总结

python进行中文文本聚类（切词以及Kmeans聚类）相关推荐

最新文章

热门文章

一、切词

二、去除停用词

三、构建词袋空间VSM(vector space model)

四、将单词出现的次数转化为权值（TF-IDF）

五、用K-means算法进行聚类

六、总结