第三次作业(词频统计及其效能分析)
博客开头给出自己的基本信息,格式建议如下:
- 学号2017035107122;
- 姓名:张炜一
- 码云地址:https://gitee.com/weiyi1208/word_frequency
调用次数最多的
执行时间最长的
将文件读入缓冲区(dst指文本文件存放路径,设置成形参,也可以不设,具体到函数里设置)
def process_file(dst): # 读文件到缓冲区
try: # 打开文件
txt=open(dst,"r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer=txt.read()
except:
print ("Read File Error!")
return None
txt.close()
return bvffer
设置缓冲区,将文本度数缓冲区,并对文本的特殊符号进行修改,使其更容易处理,并读入字典。
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
bvffer=bvffer.lower()
for x in '~!@#$%^&*()_+/*-+\][':
bvffer=bvffer.replace(x, " ")
words=bvffer.strip().split()
for word in words:
word_freq[word]=word_freq.get(word,0)+1
return word_freq
设置输出函数,运用lambda函数对词频排序,并以“词”——“频”格式输出
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print (item)
封装main函数,以便接下来的cProfile的性能评估
def main():
dst = "Gone_with_the_wind.txt"
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
if __name__ == "__main__":
import cProfile
import pstats
cProfile.run("main()", "result")
# 直接把分析结果打印到控制台
p = pstats.Stats("result") # 创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序
本次作业使我学习了python中cProfile的使用方式,通过此次作业是我对如何减少软件执行时间有了新的想法。
转载于:https://www.cnblogs.com/weiyi08/p/10616809.html
第三次作业(词频统计及其效能分析)相关推荐
- 个人项目(词频统计及其效能分析)
1. 博客开头给出自己的基本信息,格式建议如下: 学号:2017*****7212: 姓名:张佳欢; 码云项目仓库:https://gitee.com/zhangjiahuan123456 ...
- 词频统计及其效能分析
---恢复内容开始--- 1) 学号:2017*****1027: 姓名:王益鑫: 码云仓库地址:https://gitee.com/shirt----2580/word_frequency: 2) ...
- 【现代软件工程】第一次作业——词频统计
目录 1.1基本功能 1.2设计实现 1.3代码结构 1.4测试运行 1.5性能分析 1.6项目总结 1.7 PSP展示 1.1 基本功能 1. 统计文件的字符数(只需要统计Ascii码,汉字不用 ...
- 组合数据类型练习,英文词频统计实例上(2017.9.22)
字典实例:建立学生学号成绩字典,做增删改查遍历操作. sno=['33号','34号','35号','36号'] grade=[100,90,80,120] d={'33号':100,'34号':90 ...
- 组合数据类型练习,英文词频统计实例9-21
1.列表实例:由字符串创建一个作业评分列表,做增删改查询统计遍历操作.例如,查询第一个3分的下标,统计1分的同学有多少个,3分的同学有多少个等. >>>score=list('212 ...
- python jieba分词及中文词频统计
这篇博客用来记录一下自己学习用python做词频统计的过程,接上篇的英文词频统计 上篇:python词频统计并按词频排序 参考资料:jieba参考文档 目录 一.jieba库简介 二.一些准备工作 三 ...
- Python—— 组合数据类型(模块5: jieba库的使用)(实例:基本统计值计算文本词频统计)
前言 本篇主要介绍组合数据类型,以基本统计值计算为例,介绍函数使用和各种类型定义.以文本词频统计为例,介绍Jieba库的使用. (从本篇开始,出现的一些库中函数介绍以及部分简单代码都将以图片形式呈现) ...
- python词云图词频统计
目录 一:安装必要的库 二:数据分析 条形图可视化 三:数据分析 词频统计 词云图可视化 一:安装必要的库 导入必要的库 import collections # 词频统计库 import os im ...
- 组合数据类型练习、英语词频统计
字典实例:建立学生学号成绩字典,做增删改查遍历操作. di={} di["001"]=76 di["002"]=87 di["003"]=7 ...
最新文章
- [YTU]_2489( C++结构体之统计最高最低分)
- 【企业管理】人力资源是CEO的第一工程
- 题解 CF682C 【Alyona and the Tree】
- GIS-013-Cesium Terrain 数据生成
- toj 4065 The Coco-Cola Store
- Spring Security Oauth2 认证(获取token/刷新token)流程
- TensorFlow精进之路(七):关于两层卷积神经网络对CIFAR-10图像的识别
- backBarButtonItem 替换
- php查看php进程
- 【无人机】一文读懂无人机飞行原理
- 定性数据分析中高维列联表分析流程(附R代码)
- 重学statistics,Cha3 Descriptive Statistics: numerical measures
- linux3.6.7在ok6410平台的移植3,ok6410移植uboot2012.10一直在Starting kernel
- 将a=[aaa,bbb,ccc]转化为aaa,bbb,ccc和将a=[111,222,333]转化为111,222,333的字符串作为输出的方法
- obs,直播文字画面模糊处理
- 关于PC端浏览器打印
- 【DSP库窗函数】ARM官方最新DSP库中窗函数的使用方法
- Ubuntu Linux 下安装 Minecraft 我的世界
- 分析U盘文件系统(以FAT32为例)
- VMware16安装windows server 2022报蓝屏和No Media错误解决办法,图片如下:
热门文章
- WCF 4.0 REST服务解决Method Not Allowed错误
- 修改密码导致应用程序池无法启动
- 大数据热门职业薪酬榜 Hadoop人才居首
- 机器学习基石第三讲:types of learning
- 网站遭遇CC及DDOS攻击紧急处理方案
- hive初识.docx
- iptables基础篇
- 在gem5的full system下运行 x86编译的测试程序 running gem5 on ubuntu in full system mode in x86...
- 恒生证券期货行业用户维稳工作指引(一)
- ADVM/ACFS is not supported on centos-release-5-5.el5.centos 解决方法