python统计英文文本词频和提取文本关键词

统计一段英文的词频，以下代码只将标点符号省去，没有去除英文中介词，数词，人称代词等，如需要改进在统计时候直接去除相应词汇即可。

#读取文本
txt = open("english.txt","r",errors='ignore').read()
#字母变小写
txt = txt.lower()
for ch in '!"#$&()*+,-./:;<=>?@[\\]^_{|}·~‘’':
#替换标点txt = txt.replace(ch,"")
#根据空格，空字符，换行符，制表符进行分词
words = txt.split()
#记录词频
counts = {}
for word in words:counts[word] = counts.get(word,0) + 1items = list(counts.items())
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):word,count = items[i]#分别左对齐占据10个单位，空格补全，右对齐五个单位，空格补全print("{0:<10}{1:>5}".format(word,count))

为了更好地体现文本的核心含义，下面我们采用jieba包的自然语言分析功能进行关键词的提取。

# 正则包
import re
# 自然语言处理包
import stringimport jieba
import jieba.analyse
# html 包
import htmlfrom numpy import *
from zhon import *with open('./english.txt', "rb") as x:content = x.read()    # 正则过滤content = re.sub("[{}]+".format(string.punctuation), " ", content.decode("utf-8"))# html 转义符实体化content = html.unescape(content)# 切割seg = [i for i in jieba.cut(content, cut_all=True) if i != '']# 提取关键词keywords = jieba.analyse.extract_tags("|".join(seg),topK=10, withWeight=True)# 分词与关键词提取keywords0 = keywordswith open('./keywords0.txt', 'w') as k0:k0.write(str(keywords0))k0.close()print('完成文章关键字提取！')

结果如下，后者为所占权重

[('Python', 0.4361421259243218),
('ILM', 0.36904333732058),
('production', 0.19011323437726846),
('was', 0.1789301029433115),
('its', 0.11183131433956968),
('used', 0.11183131433956968),
('into', 0.10064818290561271),
('process', 0.10064818290561271),
('systems', 0.08946505147165575),
('time', 0.08946505147165575)]

python统计英文文本词频和提取文本关键词相关推荐

用python统计英文文章词频
import rewith open("text.txt") as f:#读取文件中的字符串txt = f.read()#去除字符串中的标点.数字等txt = re.sub('[, ...
python 英语词频统计软件_Python实现统计英文文章词频的方法分析
本文实例讲述了Python实现统计英文文章词频的方法.分享给大家供大家参考,具体如下: 应用介绍: 统计英文文章词频是很常见的需求,本文利用python实现. 思路分析: 1.把英文文章的每个单词放到 ...
python 统计英文词频
python 统计英文词频 (以1986-2017年考研英语真题为例) 运行截图: 代码: import re #除去简单词.序号等 excludes = ['the', 'of', 'to', 'a ...
python英文词频统计-Python实现统计英文文章词频的方法分析
本文实例讲述了Python实现统计英文文章词频的方法.分享给大家供大家参考,具体如下: 应用介绍: 统计英文文章词频是很常见的需求,本文利用python实现. 思路分析: 1.把英文文章的每个单词放到 ...
python英文词频统计并按顺序输出_Python实现统计英文文章词频的方法分析
本文实例讲述了python实现统计英文文章词频的方法.分享给大家供大家参考,具体如下: 应用介绍: 统计英文文章词频是很常见的需求,本文利用python实现. 思路分析: 1.把英文文章的每个单词放到 ...
如何用python统计英语文章词频？
如何用python统计英语文章词频? **环境:**python3.0 需要统计的词频的txt文件(无中文) tips:word文档中一键替换中文([一-龥]) 代码如下 file = open('F ...
Word控件Spire.Doc 【文本】教程(5) ；从 Word 文档中的文本框中提取文本
文本框的目的是允许用户输入程序要使用的文本信息.也可以从文本框中提取现有的文本信息.以下指南重点介绍如何通过Spire.Doc for .NET从 C# 中 Word 文档的文本框中提取文本. Spi ...
python基础编程统计英语文章词频并排序文本操作继承
python编程统计英语文章词频文本操作继承统计英语6级试题中所有单词的词频,并对词频进行排序 import re# 请根据处理要求下面区域完成代码的编写. def get_artical(a ...
python统计中英文字符个数-Python统计英文、中文、数字、空格等字符数
Python统计字母.中文.数字.空格等字符数 # 统计一行字符的不同字符个数 str = input("请输入一行字符:") count1 = count2 = count3 = ...

python统计英文文本词频和提取文本关键词

python统计英文文本词频和提取文本关键词相关推荐

最新文章

热门文章