Python 列表解析大文件

如果在一个4G的大文件test.log中提取里面有error的log:

大家第一想法就是通过打开文件然后每一行的查找，耗时19s

import  timestart_time = time.time()
with open('/Users/test/Downloads/test.log') as f:for line in f.readlines():if 'error' in line:print line
end_time = time.time()
print "cost time is: ", end_time-start_time#cost time is:  19.1660439968

列表解析：大多数工作在python解释器内部完成，比等价的语句要快很多，特别是大文件,我们可以看见在相同的大文件中使用列表解析时间为4s，大大提高了效率

import  timestart_time = time.time()
lines = [line for line in open('/Users/test/Downloads/test.log') if 'error' in line]
for line in lines:print line
end_time = time.time()
print "cost time is: ", end_time-start_time# cost time is:  4.45141601562

Python 列表解析大文件相关推荐

python 列表操作详解,Python列表解析操作实例总结
本文实例讲述了Python列表解析操作.分享给大家供大家参考,具体如下: 列表解析 Python 的强大特性之一是其对 list 的解析,它提供一种紧凑的方法,可以通过对 list 中的每个元素应用一 ...
Python ElementTree 解析 xml文件
文章目录一.xml文件结构二.基础解析 1.加载文档 2.获取根元素 3.根元素的属性 4.遍历其直接子元素 5.通过索引值来访问特定的子元素查找需要的元素三.支持通过XPath查找元素四. ...
Python语言解析xml文件
python语言解析xml文件的常用的有两种方式: 通过MiniDom库解析xml文件通过ElementTree库解析xml文件 MiniDom方式解析xml xml文件以data.xml为例,具体 ...
python列表解析的新方法
python 列表解析我感觉是python非常灵活的一个地方,一开始接触它的时候,特别是之前学过其它的语言, 你会感觉很不习惯,怎么看怎么不对劲,老是觉的哪个地方怪怪的,这就是列表解析的魔力所在. p ...
如何在Python中解析YAML文件
如何在Python中解析YAML文件? #1楼不依赖C标头的最简单,最纯净的方法是PyYaml( 文档 ): #!/usr/bin/env pythonimport yamlwith open(&q ...
【Android 逆向】使用 Python 代码解析 ELF 文件 ( PyCharm 中进行断点调试 | ELFFile 实例对象分析 )
文章目录一.PyCharm 中进行断点调试二.ELFFile 实例对象分析一.PyCharm 中进行断点调试在上一篇博客 [Android 逆向]使用 Python 代码解析 ELF 文件 ( ...
列表解析python_基于Python列表解析(列表推导式)
列表解析--用来动态地创建列表 [expr for iter_var in iterable if cond_expr] 例子一: map(lambda x: x**2, range(6)) [0, ...
用 Python 高效处理大文件
前言为了进行并行处理,我们将任务划分为子单元.它增加了程序处理的作业数量,减少了整体处理时间. 例如,如果你正在处理一个大的CSV文件,你想修改一个单列.我们将把数据以数组的形式输入函数,它将根据可 ...
python如何解析PDF文件
python如何解析PDF文件 python中读取pdf的方法:使用python第三方库pdfminerk3k 1.使用pdfminer库 pdfminer是一个主流的分析pdf的库.如果是pytho ...

Python 列表解析大文件

Python 列表解析大文件相关推荐

最新文章

热门文章

Python 列表解析 大文件

Python 列表解析 大文件相关推荐

最新文章

热门文章

Python 列表解析大文件

Python 列表解析大文件相关推荐