python awk 读文件_测试python awk sed 读取文件指定位置时的性能

#!/bin/env python

#coding:utf8

'''

awk 打印指定行数

sed 打印指定行数

python 打印指定位置,某长度字符串

awk 耗时最长,很长

sed awk 时间一半

python 耗时基本忽略不计

使用脚本监控日志文件的时候,每次记录上次退出的位置

python效率最高.

'''

import os

from time import time

from os.path import getsize

testfile='/dev/shm/%s' % time()

#生成文件总行数 10**8 大约800M 10**7 大约 80M

linesize=10**7

#提取文件中间行

halfline=int(linesize / 2)

#文件大小一半

halffilesize=0

#测试次数

num=10

#生成文件大小

filesize=0

r=[]

def create_testfile():

f=open(testfile,'w')

for i in xrange(linesize):

f.write(str(i)+'\n')

f.close()

def time1(func):

t1=time()

func()

t2=time()

t=t2-t1

print func.func_name,t

r.append("%s:\t\t%s" % (func.func_name,str(t) ) )

def awk():

for i in range(num):

os.system("/bin/awk 'NR==%s { print $0 }' %s " % (halfline,testfile) )

def sed():

for i in range(num):

os.system("/bin/sed -n %sp %s " % (halfline,testfile) )

#os.system("/bin/sed -n %sp %s|awk '{print $0}' " % (halfline,testfile) )

def py():

for i in range(num):

fn=open(testfile)

#读取

fn.seek(halffilesize)

print fn.read(7)

fn.close()

print "create test file!"

create_testfile()

filesize=getsize(testfile)

halffilesize=int(filesize/2)

time1(awk)

time1(sed)

time1(py)

print "\n\n"

print "halffilesize:\t\t",halffilesize

print "filesize:\t\t",filesize

os.system('/bin/ls -lh %s' % testfile)

print "\t"

for i in r:

print i

os.unlink(testfile)

python awk 读文件_测试python awk sed 读取文件指定位置时的性能相关推荐

mysql 读取文件_关于mysql：逐行读取文件而不将整个文件加载到内存中
我正在使用50 Gb MySQL导出文件,并对其执行脚本操作列表以转换为SQLite3可加载形式(我从这里得到的线索:脚本将mysql dump sql文件转换为可以导入sqlite3的格式D b ) ...
python 埋点库_测试~python库介绍（一） opencv
前言从事测试工作已有4年了,期间通过python编写了很多自动化脚本,接下来的日子和大家分享一下测试工作上常用的python库,适合常年从事黑盒测试的同学了解一些入门级技巧. UI响应时间评测~前身 ...
用python玩转数据测试答案_MOOC_用Python玩转数据_测试答案
利息.据测股息.红利所得以每次收入额为应纳税所得额.A:错B:对利息保障倍数中,试答利息支出:试答A:不包括财务费用中的利息支出B:包括计入固定资产成本的资本化利息C:包括财务费用中的利息支出D:不 ...
Python read()函数：按字节（字符）读取文件
Python read()函数:按字节(字符)读取文件前一节中,介绍了如何通过 open() 函数打开一个文件.在其基础上,本节继续讲解如何读取已打开文件中的数据. Python 提供了如下 3 种 ...
java读文件几种方式_java中读取文件的方式有哪几种
java中读取文件的方式有哪几种发布时间:2020-06-19 13:36:48 来源:亿速云阅读:135 作者:鸽子读取文件有多种方式,基于传统的输入流方式或基于nio的Buffer缓冲对象和 ...
文件------概念、基本操作、打开文件的方式、按行读取文件内容、复制文件、文件/目录的常用管理操作、文本文件的编码格式、练习1-4
文件的概念文件的概念计算机的文件,就是存储在某种长期储存设备上的一段数据长期存储设备包括:硬盘.U盘.移动硬盘.光盘... 文件的作用将数据长期保存下来,在需要的时候使用文件的存储方式在计 ...
MATLAB如何读取文件某一行的内容,如何读取文件的某一行
C语言怎么用fgets()读取一个txt文件中的任意行的信息 C语言怎么用fgets()读取一个txt文件中的任意行的信息比如 szhfias sdf如果使用fgets()读取某个文件,第一次读 ...
02功能之读写文件流操作(C语言实现读取文件指定一行)
02功能之读写文件流操作(C语言实现读取文件指定一行) 1 C语言读取文件指定一行 // 读取文件指定一行 int ReadLine1(const char *fileName, char outBu ...
逐行读文件_用python比较两个文件的内容是否相同
有两个文件,考虑编写算法,尽可能快的比较这两个文件的内容是否相同.看起来这是一个非常简单的事情,但仔细思考就会发现,有很多可以琢磨的地方.我在学习filecmp模块的cmp方法时,阅读它的源码,感慨于 ...

python awk 读文件_测试python awk sed 读取文件指定位置时的性能

python awk 读文件_测试python awk sed 读取文件指定位置时的性能相关推荐

最新文章

热门文章