统计csv词频_中文词频统计

中文词频统计

1. 下载一长篇中文小说。

《倚天屠龙记》

2. 从文件读取待分析文本。

3. 安装并使用jieba进行中文分词。

pip install jieba

import jieba

ljieba.lcut(text)

4. 更新词库，加入所分析对象的专业词汇。

jieba.add_word('天罡北斗阵') #逐个添加

jieba.load_userdict(word_dict) #词库文本文件

5. 生成词频统计

6. 排序

7. 排除语法型词汇，代词、冠词、连词

8. 输出词频最大TOP20，把结果存放到文件里

9. 生成词云。

代码如下：

from wordcloud

import WordCloudimport matplotlib.pyplot as plt

import jieba

article = open('yt.txt',encoding='UTF-8').read()

dele = {'。','！','？','的','“','”','(',')',' ','》','《','，'}

jieba.add_word('张无忌')

words = list(jieba.cut(article))

articleDict = {}

articleSet = set(words)-dele

for w in articleSet:

if len(w)>1:

articleDict[w] = words.count(w)

articlelist = sorted(articleDict.items(),key = lambda x:x[1], reverse = True)

cut_text = " ".join(words)

'print(cut_text)'

mywc = WordCloud().generate(cut_text)

plt.imshow(mywc)plt.axis("off")

plt.show()

'''

for i in range(20):

print(articlelist[i])

import pandas as pd

pd.DataFrame(data=articlelist).to_csv('test.csv',encoding='UTF-8')

运行结果：

词云：

统计csv词频_中文词频统计相关推荐

统计csv词频_中文词频统计与词云生成
一.中文词频统计 1. 下载一长篇中文小说. 2. 从文件读取待分析文本. 3. 安装并使用jieba进行中文分词. pip install jieba import jieba jieba.lcut ...
统计csv词频_分词词频统计
网上随便找段文字,就以Power BI官网上这段文字为例好了: 想要统计其中的词频,实现如下图的效果: 解法1:使用输入法词库其中的难点无疑在分词了,中文不像英文可以按空格拆开分词,仅仅单靠Powe ...
python统计txt文件中文词频_Python 中文文件统计词频 + 中文词云
1. 词频统计: 1 importjieba2 txt = open("threekingdoms3.txt", "r", encoding='utf-8'). ...
python统计段落单词词频_使用Python统计文件中词频，并且生成词云
wordcloud Table of Contents 1 怎样使用Python产生词云 from wordcloud import WordCloud import matplotlib.pyplo ...
window统计文本字节_在线字数统计工具-统计字符字节汉字数字标点符号-计算word文章字数...
位位是信息技术中使用的术语,也称比特(bit).是最小的信息单位.Bit是二进制数字的缩写(BInarydigiT),因为位实在是太小了,用来表示大数目时不方便,所以有了字节(byte),一个在信息 ...
window统计文本字节_在线字数统计工具-统计字符字节汉字数字标点符号-计算word文章字数-使用帮助-字的区别...
位,字,字节,字长,字符串,字符,字数区别及计算方法? 位位是信息技术中使用的术语,也称比特(bit).是最小的信息单位.Bit是二进制数字的缩写(BInarydigiT),因为位实在是太小了,用来 ...
统计csv词频_基于给定词语列表统计词频
基于给定词语列表并统计词频,统计结果输出到csv中.有两种实现方法方法一:常规的统计给定关键词的词频思路: 第一步,整理好待查询query_words 第二步,新建一个csv文件,并且将query ...
Hadoop综合大作业补交4次作业：获取全部校园新闻，网络爬虫基础练习，中文词频统计，熟悉常用的Linux操作...
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计. (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文 ...
python词频统计完整步骤_Python中文文本分词、词频统计、词云绘制
本文主要从中文文本分词.词频统计.词云绘制方面介绍Python中文文本分词的使用.会使用到的中文文本处理包包括:wordcloud,jieba,re(正则表达式),collections. 1 准备工 ...

统计csv词频_中文词频统计

统计csv词频_中文词频统计相关推荐

最新文章

热门文章