python在统计中的应用_Python在简单数据统计中的应用--随笔记

日常工作中经常会将记录一些log信息，因为这些log信息数据量比较大，大概5/6万行，靠人工用眼睛分析就不太可靠了，所以想着用Python做一些简单的数据统计分析。Python里有一些容易使用的工具，比如numpy、matplotlib等等。代码处理比较简单，就没有写成文件，直接在IDLE中运行的。当然前提是环境搭好，需要的库都安装好。

log信息是txt格式的，且格式也是统一的，这是用这种方法的前提。如果格式不统一，此种方法就不适用了。那就需要先进行预处理了。

文件格式类似以下,且是单独成行的：

1 Cout:[56]2 Exte:[589, 8345]3 Cout:[61]4 Exte:[590, 8459]5 Cout:[49]6 Exte:[600, 8701]7 ...8 ...

以下是处理过程：

1 >>> fd = open('E:\\xxx\\yyy\\zzz.txt', 'rt')2 >>> cont1 =fd.readlines()3 >>> fea_str1 = 'Cout:'

4 >>> fea_str2 = 'Exte:'

先把log文件打开，再把其内容读到一变量中；当然大家都知道这个变量其实是个列表(list)。列表比较容易用for语句进行遍历，也容易进行截取操作(其实就是所谓的“切片”吧，英语是slice)。下面再声明两个“特征”字符串，便于查找我们想要的数据。我们想要的数据，是类似56，61，49；589，590，600；8345，8459，8701这样的数据。

1 >>> cout1 =[]2 >>> exte_adc1 =[]3 >>> exte_vol1 = []

我们将要提取的结果也放到列表中，需要事先声明。

其实以下是提取过程的主要操作：

1 >>> for c incont1:2 if c.find(fea_str1) != -1:3 t = c.split(':')4 cout1.append(int(t[1].strip('[').strip(']\n')))5 elif c.find(fea_str2) != -1:6 t = c.split(':')7 t = t[1].split(',')8 exte_adc1.append(int(t[0].strip('[')))9 exte_vol1.append(int(t[1].strip(']\n')))10 >>>

运行上述代码后，需要的数据就保存到了cout1、exte_adc1、exte_vol1中了。

可以进行简单的验证：

1 >>>len(cont1)2 >>>len(cout1)3 >>>len(exte_adc1)4 >>> len(exte_vol1)

文件的总行数可以通过其他编辑器打开而知道，文件内容是行"Cout:"及"Exte:"交替出现的，可以知道它们出现的次数。

可以通过numpy及matplotlib进行一些统计。

1 >>> importnumpy as np2 >>> from matplotlib importpyplot as plt3 >>> cout1_np =np.array(cout1)4 >>>np.mean(cout1_np)5 >>>np.std(cout1_np)6 >>>plt.plot(cout1_np)7 >>> plt.show()

上述代码计算了其平均值、标准差，看下它的曲线图。

上述只是进行简单的计算，没有考虑什么性能等。

最后不要忘记，关闭文件句柄。

1 >>> fd.close()

python在统计中的应用_Python在简单数据统计中的应用--随笔记相关推荐

python excel模板生成excel表格_python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图...
python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图 #coding=utf-8 from openpyxl importload_workbookfro ...
xlsx表格怎么做汇总统计_Excel表格中如何快速汇总多个数据表中的数据
原标题:Excel表格中如何快速汇总多个数据表中的数据在Excel工作表中,如果需要汇总报告多个单独单元格的结果,可以将这些单元格中的数据合并到一个主工作表中.这些工作表可以与主工作表在同一个工作簿 ...
python中excel制作成绩报表_python制作简单excel统计报表2之操作excel的模块openpyxl简单用法...
python制作简单excel统计报表2之操作excel的模块openpyxl简单用法 # coding=utf-8 from openpyxl import Workbook, load_workb ...
python 数据框缺失值_Python：处理数据框中的缺失值
python 数据框缺失值介绍 (Introduction) In the last article we went through on how to find the missing value ...
python判断点在矩形内_Python测试点是否在矩形中
我是python的新手,仍然学习绳索??,但是我希望有更多经验的人可以帮助我. 我正在尝试编写以下Python脚本: >创造四个点 >创建四个矩形 >检查每个点是否在任何矩形中,然后 ...
beautifulsoup爬取网页中的表格_PYTHON爬取数据储存到excel
PYTHON爬取数据储存到excel 大家周末好呀,我是滑稽君.前两天上网课时朋友发来消息说需要爬取一些数据,然后储存到excel里.记得我公众号里发过关于爬虫的文章,所以找我帮个忙.于是滑稽君花时间 ...
python数据分析基础试题及答案_Python数据分析与数据可视化题库免费期末考试2020答案...
Python数据分析与数据可视化题库免费期末考试2020答案更多相关问题风险管理是一个不断发展变化的演变过程.在风险管理演变过程中,大多数现代风险管理形式是从()中以下哪项是虚证闭经的主要病机A ...
python可以做哪些小工具_python的简单实用小工具
在python进行自动化编写的过程中,常常需要造一些数据,比如,获取随机的合法IP,随机的字符串,当前的时间等,下面的一些方法应该可以用到,希望对你有所帮助 #!/user/bin/env pytho ...
python处理excel的时间格式_Python处理excel数据，原来这么简单，VBA要尴尬了
工作中经常会遇到一些每天都要进行的重复操作,没一点技术含量,做起来却费时费力,还时不时出点小错.为应对这种情况,有些人会用VBA进行处理.但编辑了VBA功能的文件通用性不好,遇到领导.同事的excel ...

python在统计中的应用_Python在简单数据统计中的应用--随笔记

python在统计中的应用_Python在简单数据统计中的应用--随笔记相关推荐

最新文章

热门文章