博客开头给出自己的基本信息,格式建议如下:

  • 学号2017035107122;
  • 姓名:张炜一
  • 码云地址:https://gitee.com/weiyi1208/word_frequency

调用次数最多的

执行时间最长的

将文件读入缓冲区(dst指文本文件存放路径,设置成形参,也可以不设,具体到函数里设置)

def process_file(dst): # 读文件到缓冲区
try: # 打开文件
txt=open(dst,"r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer=txt.read()
except:
print ("Read File Error!")
return None
txt.close()
return bvffer

设置缓冲区,将文本度数缓冲区,并对文本的特殊符号进行修改,使其更容易处理,并读入字典。
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
bvffer=bvffer.lower()
for x in '~!@#$%^&*()_+/*-+\][':
bvffer=bvffer.replace(x, " ")
words=bvffer.strip().split()
for word in words:
word_freq[word]=word_freq.get(word,0)+1
return word_freq

设置输出函数,运用lambda函数对词频排序,并以“词”——“频”格式输出
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print (item)

封装main函数,以便接下来的cProfile的性能评估
def main():

dst = "Gone_with_the_wind.txt"
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)

if __name__ == "__main__":
import cProfile
import pstats
cProfile.run("main()", "result")
# 直接把分析结果打印到控制台
p = pstats.Stats("result") # 创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序

本次作业使我学习了python中cProfile的使用方式,通过此次作业是我对如何减少软件执行时间有了新的想法。

转载于:https://www.cnblogs.com/weiyi08/p/10616809.html

第三次作业(词频统计及其效能分析)相关推荐

  1. 个人项目(词频统计及其效能分析)

    1. 博客开头给出自己的基本信息,格式建议如下:   学号:2017*****7212:   姓名:张佳欢;   码云项目仓库:https://gitee.com/zhangjiahuan123456 ...

  2. 词频统计及其效能分析

    ---恢复内容开始--- 1) 学号:2017*****1027: 姓名:王益鑫: 码云仓库地址:https://gitee.com/shirt----2580/word_frequency: 2) ...

  3. 【现代软件工程】第一次作业——词频统计

    目录 1.1基本功能 1.2设计实现 1.3代码结构 1.4测试运行 1.5性能分析 1.6项目总结 1.7 PSP展示   1.1 基本功能 1. 统计文件的字符数(只需要统计Ascii码,汉字不用 ...

  4. 组合数据类型练习,英文词频统计实例上(2017.9.22)

    字典实例:建立学生学号成绩字典,做增删改查遍历操作. sno=['33号','34号','35号','36号'] grade=[100,90,80,120] d={'33号':100,'34号':90 ...

  5. 组合数据类型练习,英文词频统计实例9-21

    1.列表实例:由字符串创建一个作业评分列表,做增删改查询统计遍历操作.例如,查询第一个3分的下标,统计1分的同学有多少个,3分的同学有多少个等. >>>score=list('212 ...

  6. python jieba分词及中文词频统计

    这篇博客用来记录一下自己学习用python做词频统计的过程,接上篇的英文词频统计 上篇:python词频统计并按词频排序 参考资料:jieba参考文档 目录 一.jieba库简介 二.一些准备工作 三 ...

  7. Python—— 组合数据类型(模块5: jieba库的使用)(实例:基本统计值计算文本词频统计)

    前言 本篇主要介绍组合数据类型,以基本统计值计算为例,介绍函数使用和各种类型定义.以文本词频统计为例,介绍Jieba库的使用. (从本篇开始,出现的一些库中函数介绍以及部分简单代码都将以图片形式呈现) ...

  8. python词云图词频统计

    目录 一:安装必要的库 二:数据分析 条形图可视化 三:数据分析 词频统计 词云图可视化 一:安装必要的库 导入必要的库 import collections # 词频统计库 import os im ...

  9. 组合数据类型练习、英语词频统计

    字典实例:建立学生学号成绩字典,做增删改查遍历操作. di={} di["001"]=76 di["002"]=87 di["003"]=7 ...

最新文章

  1. [YTU]_2489( C++结构体之统计最高最低分)
  2. 【企业管理】人力资源是CEO的第一工程
  3. 题解 CF682C 【Alyona and the Tree】
  4. GIS-013-Cesium Terrain 数据生成
  5. toj 4065 The Coco-Cola Store
  6. Spring Security Oauth2 认证(获取token/刷新token)流程
  7. TensorFlow精进之路(七):关于两层卷积神经网络对CIFAR-10图像的识别
  8. backBarButtonItem 替换
  9. php查看php进程
  10. 【无人机】一文读懂无人机飞行原理
  11. 定性数据分析中高维列联表分析流程(附R代码)
  12. 重学statistics,Cha3 Descriptive Statistics: numerical measures
  13. linux3.6.7在ok6410平台的移植3,ok6410移植uboot2012.10一直在Starting kernel
  14. 将a=[aaa,bbb,ccc]转化为aaa,bbb,ccc和将a=[111,222,333]转化为111,222,333的字符串作为输出的方法
  15. obs,直播文字画面模糊处理
  16. 关于PC端浏览器打印
  17. 【DSP库窗函数】ARM官方最新DSP库中窗函数的使用方法
  18. Ubuntu Linux 下安装 Minecraft 我的世界
  19. 分析U盘文件系统(以FAT32为例)
  20. VMware16安装windows server 2022报蓝屏和No Media错误解决办法,图片如下:

热门文章

  1. WCF 4.0 REST服务解决Method Not Allowed错误
  2. 修改密码导致应用程序池无法启动
  3. 大数据热门职业薪酬榜 Hadoop人才居首
  4. 机器学习基石第三讲:types of learning
  5. 网站遭遇CC及DDOS攻击紧急处理方案
  6. hive初识.docx
  7. iptables基础篇
  8. 在gem5的full system下运行 x86编译的测试程序 running gem5 on ubuntu in full system mode in x86...
  9. 恒生证券期货行业用户维稳工作指引(一)
  10. ADVM/ACFS is not supported on centos-release-5-5.el5.centos 解决方法