python实现中文分词和词频统计

python2.7中实现中文分词，是引入了jieba中文分词库。再进行简单的词频统计。

import sys
reload(sys)  sys.setdefaultencoding('utf-8')  import jieba
import jieba.analyse
import xlwt #写入Excel表的库  if __name__=="__main__":  wbk = xlwt.Workbook(encoding = 'ascii')  sheet = wbk.add_sheet("wordCount")#Excel单元格名字  word_lst = []  key_list=[]  for line in open('test.txt'):#test.txt是需要分词统计的文档  item = line.strip('\n\r').split('\t') #制表格切分  # print item  tags = jieba.analyse.extract_tags(item[0]) #jieba分词  for t in tags:  word_lst.append(t)  word_dict= {}  with open("wordCount.txt",'w') as wf2: #打开文件  for item in word_lst:  if item not in word_dict: #统计数量  word_dict[item] = 1  else:  word_dict[item] += 1  orderList=list(word_dict.values())  orderList.sort(reverse=True)  # print orderList  for i in range(len(orderList)):  for key in word_dict:  if word_dict[key]==orderList[i]:  wf2.write(key+' '+str(word_dict[key])+'\n') #写入txt文档  key_list.append(key)  word_dict[key]=0  for i in range(len(key_list)):  sheet.write(i, 1, label = orderList[i])  sheet.write(i, 0, label = key_list[i])  wbk.save('wordCount.xls') #保存为 wordCount.xls文件

得到分词结果：

python实现中文分词和词频统计相关推荐

Python中文分词及词频统计
Python中文分词及词频统计中文分词中文分词(Chinese Word Segmentation),将中文语句切割成单独的词组.英文使用空格来分开每个单词的,而中文单独一个汉字跟词有时候完全不是 ...
python统计词频_Python中文分词及词频统计
中文分词中文分词(Chinese Word Segmentation),将中文语句切割成单独的词组.英文使用空格来分开每个单词的,而中文单独一个汉字跟词有时候完全不是同个含义,因此,中文分词相比英文 ...
python 小说词频统计_Python中文分词及词频统计
中文分词中文分词(Chinese Word Segmentation),将中文语句切割成单独的词组.英文使用空格来分开每个单词的,而中文单独一个汉字跟词有时候完全不是同个含义,因此,中文分词相比英文 ...
python词频统计完整步骤_Python中文文本分词、词频统计、词云绘制
本文主要从中文文本分词.词频统计.词云绘制方面介绍Python中文文本分词的使用.会使用到的中文文本处理包包括:wordcloud,jieba,re(正则表达式),collections. 1 准备工 ...
python分词和词频统计
Python大数据:jieba分词,词频统计黑冰中国关注 0.1 2018.03.21 11:39* 字数 1717 阅读 7553评论 6喜欢 45赞赏 1 实验目的学习如何读取一个文件学 ...
python字频统计软件_python结巴分词以及词频统计实例
python结巴分词以及词频统计实例发布时间:2018-03-20 14:52, 浏览次数:773 , 标签: python # coding=utf-8 ''' Created on 2018年3 ...
python软件和rost软件哪个更好_ROST-CM软件分词和词频统计用法体验
ROST作为一款优秀的内容挖掘工具,在自然语言处理上提供一系列能够快速上手使用的功能,其中"分词"功能也是广为使用的.我们在对文本进行分词处理的过程中,由于词库是固定的,所以不管是 ...
使用Python做中文分词和绘制词云
使用Python做中文分词和绘制词云李小璐出轨云词图作为一门编程语言,Python的编写简单,支持库强大,应用场景多,越来越多的人开始将它作为自己的编程入门语言. Python一个比较重要的场景是 ...
Python实现中文分词--正向最大匹配和逆向最大匹配
编译原理实验二:Python实现中文分词–正向最大匹配和逆向最大匹配最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数 ...

python实现中文分词和词频统计

python实现中文分词和词频统计相关推荐

最新文章

热门文章