使用Python进行英文词频统计

对一篇英文文章进行词频统计重点在于内容去噪和归一化，可用split()进行分词。本文以《飘》为例，统计词频最高的前十位。

1.读取文件，通过lower()、replace()函数将所有单词统一为小写，并用空格替换特殊字符。

def gettext():txt = open("piao.txt","r",errors='ignore').read()txt = txt.lower()for ch in '!"#$&()*+,-./:;<=>?@[\\]^_{|}·~‘’':txt = txt.replace(ch,"")
return txt

2.对处理后的文本进行词频统计存入字典。

txt = gettext()
words = txt.split()
counts = {}
for word in words:counts[word] = counts.get(word,0) + 1

3.统计结果存为列表类型，按词频由高到低进行排序，输出前十位。

items = list(counts.items())
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):word,count = items[i]print("{0:<10}{1:>5}".format(word,count))

输入：

输出：

使用Python进行英文词频统计相关推荐

python英文词频统计去除定冠词_使用Python进行英文词频统计
对一篇英文文章进行词频统计重点在于内容去噪和归一化,可用split()进行分词.本文以<飘>为例,统计词频最高的前十位. 1.读取文件,通过lower().replace()函数将所有单词 ...
Python英文词频统计（哈姆雷特）程序示例
今天继续给大家介绍Python相关知识,本文主要内容是Python英文词频统计程序示例,主要是对英文文本--<哈姆雷特>进行分词. 一.英文文本词频统计思路想要对<哈姆雷特> ...
Python 《Hamlet》哈姆雷特英文词频统计
英文词频统计关键问题: 1.词语 -- 键 2.相同词语的累加 -- 值讨论:定义什么数据类型 -- 字典类型问题描述: I:文件的输入 P:采用字典类型的结构统计词语出现的频率 O:每个单词及 ...
Hadoop的改进实验（中文分词词频统计及英文词频统计）（1/4）
声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究. 2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好).如不 ...
组合数据类型练习，英文词频统计实例上（2017.9.22）
字典实例:建立学生学号成绩字典,做增删改查遍历操作. sno=['33号','34号','35号','36号'] grade=[100,90,80,120] d={'33号':100,'34号':90 ...
Hadoop的改进实验（中文分词词频统计及英文词频统计）（4/4）
声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究. 2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好).如不 ...
组合数据类型练习，英文词频统计实例上
1.name=['陈楠芸','陈文琪','刘书签','杨必须'] scores=[7,6,6,5] d={'陈楠芸':7,'陈文琪':6,'刘书签':6,'杨必须':5} print(d) #增加 d ...
Hadoop的改进实验（中文分词词频统计及英文词频统计）（2/4）
声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究. 2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好).如不 ...
浅析如何用Python进行中英文词频统计
浅析如何用Python进行中英文词频统计主要思路: 读取数据数据预处理分词词频统计结果显示词频统计 TF-IDF(term frequency–inverse document frequ ...

使用Python进行英文词频统计

使用Python进行英文词频统计相关推荐

最新文章

热门文章