python英文词频统计去除定冠词_使用Python进行英文词频统计

对一篇英文文章进行词频统计重点在于内容去噪和归一化，可用split()进行分词。本文以《飘》为例，统计词频最高的前十位。

1.读取文件，通过lower()、replace()函数将所有单词统一为小写，并用空格替换特殊字符。

def gettext():

txt = open("piao.txt","r",errors='ignore').read()

txt = txt.lower()

for ch in '!"#$&()*+,-./:;<=>?@[\\]^_{|}·~‘’':

txt = txt.replace(ch,"")

return txt

2.对处理后的文本进行词频统计存入字典。

txt = gettext()

words = txt.split()

counts = {}

for word in words:

counts[word] = counts.get(word,0) + 1

3.统计结果存为列表类型，按词频由高到低进行排序，输出前十位。

items = list(counts.items())

items.sort(key=lambda x:x[1],reverse=True)

for i in range(10):

word,count = items[i]

print("{0:<10}{1:>5}".format(word,count))

输入：

输出：

python英文词频统计去除定冠词_使用Python进行英文词频统计相关推荐

怎么判断冠词用a还是an_英文写作常见错误学习笔记 | 冠词
写在前面的话在知乎中看到"英文学术论文写作,有什么好书可以推荐"话题中有人推荐了香港大学出版社Steve Hart写的<English Exposed>一书,从副标题 ...
辨异 —— 冠词（定冠词、不定冠词、零冠词）
冠词:article 不定冠词(Indefinite Article):a/an 定冠词(Definite Article):the 零冠词 1. 定冠词与不定冠词正如名字所说,一般而言,定冠词修饰 ...
用法 the_英语冠词：不定冠词a,an和定冠词the的用法
今天学习不定冠词a,an和定冠词the的用法. 图片来源于网络冠词是用在名词前面的词语, 它不能独立使用. 冠词有三个:不定冠词a和an和定冠词the.如: the boy这个男孩 a bee一只蜜 ...
英语语法定冠词与专有名词
专有名词的定义是:只有一个对象存在的名词,像Genghis Khan和Taibei等.既然只有一个对象存在,就没有"这个"."那个"的分别,也就不能加定冠词th ...
English - 定冠词和不定冠词(a an the) 的区别
不定冠词表示泛指,定冠词表示特指. 不定冠词a (an)与数词one 同源,是"一个"的意思.a用于辅音音素前,一般读作[e],而an则用于元音音素前,一般读做[en]. 1) ...
用python统计单词出现的个数_第1.4题：统计文件中单词出现个数
题目来自:Python 练习册.今天做第四题:任一英文的纯文本文件,统计其中的单词出现个数. 铺垫工作这一期的铺垫工作比较多,所以单独写了一篇文章,详见 Python正则表达式正文部分题目内容 ...
python文本分词及去除停用词
对于文本分词,此处使用的是python自带的jieba包进行,首先我们要先读取我们所需要分词的文章,然后使用jieba.cut进行分词,注意分词时要将这些段落归并成同一个字符串,然后输出的是一个列表. ...
[Python]jieba切词添加字典去除停用词、单字 python 2020.2.10
源码如下: import jieba import io import re#jieba.load_userdict("E:/xinxi2.txt") patton=re.comp ...
python pil png合成gif储存时变黑_使用 Python 玩转图片
我们有时候需要处理图片,对于一些不是非常复杂的图片处理,并非一定要使用 PS ,其实我们用 Python 代码也是可以实现滴-而且还挺方便,有些操作一两行代码就搞定了. 有个 Python Image ...

python英文词频统计去除定冠词_使用Python进行英文词频统计

python英文词频统计去除定冠词_使用Python进行英文词频统计相关推荐

最新文章

热门文章