python中0xff_强悍的Python读取大文件的解决方案

这是一道著名的 Python 面试题，考察的问题是，Python 读取大文件和一般规模的文件时的区别，也即哪些接口不适合读取大文件。

1. read() 接口的问题

f =open(filename, 'rb')

f.read()

我们来读取 1 个 nginx 的日至文件，规模为 3Gb 大小。read() 方法执行的操作，是一次性全部读入内存，显然会造成：

MemoryError

...

也即会发生内存溢出。

2. 解决方案：转换接口

(1)readlines() ：读取全部的行，构成一个 list，实践表明还是会造成内存的问题；

forline inf.reanlines():

...

(2)readline()：每次读取一行，

(3)read(1024)：重载，指定每次读取的长度

3. 真正 Pythonic 的方法

真正 Pythonci 的方法，使用 with 结构：

对可迭代对象 f，进行迭代遍历：for line in f，会自动地使用缓冲IO(buffered IO)以及内存管理，而不必担心任何大文件的问题。

There should be one – and preferably only one – obvious way to do it.

python中0xff_强悍的Python读取大文件的解决方案相关推荐

【Python中的权限错误：无法访问文件】-- 解决方案
[Python中的权限错误:无法访问文件]-- 解决方案在Python编程过程中,我们常常会遇到文件读写.创建.删除等操作.有时候当我们试图进行这些操作时,会出现"PermissionEr ...
python读取大文件-强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
python读取大文件性能_强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
python读取超大文件-强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
python读取大文件太慢_强悍的Python读取大文件的解决方案
Python 环境下文件的读取问题,请参见拙文 Python基础之文件读取的讲解这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适 ...
python中删除某一行_python 删除大文件中的某一行(最有效率的方法)
用 python 处理一个文本时,想要删除其中中某一行,常规的思路是先把文件读入内存,在内存中修改后再写入源文件. 但如果要处理一个很大的文本,比如GB级别的文本时,这种方法不仅需要占用很大内存,而且 ...
python里split以制表符分隔_在python中拆分以制表符分隔的大文件
好吧,我试着按照你的准则来做.它只在大文件中迭代一次,不必费心通过csv模块解析这些行,因为您只是在写入期间重新连接它们.在id=("a","b") start ...
python中xml解析sax_Python解析xml大文件[sax]
使用到的包:xml.sax [文档]() 需求读取xml数据文件,文件较大,需要实时处理插入到数据库 xml文档 100000 男北京,海淀区 437 1989 333 242 null 大学 1 ...
python中mopn,是否可以使用python创建dymola模型（.mo）？
正如matth所指出的,最干净的方法可能是使用模板引擎. 但首先,简单的python字符串格式也可以.在但是,问题或多或少是复杂的,这取决于您是要更新现有模型的一部分,还是只是从头开始创建新模型.在 ...

python中0xff_强悍的Python读取大文件的解决方案

python中0xff_强悍的Python读取大文件的解决方案相关推荐

最新文章

热门文章