python如何打开一个大文件？

 1 with open('a.csv','r') as f:
 2 #1
 3     for i in f:
 4         print(i)
 5 #2
 6     while True：
 7         a = f.readline()
 8         if not a:
 9             break
10 #3
11     f.readlines()

用with语句打开文件返回一个可以迭代的文件对象绑定在as后的变量f；

第一种：直接遍历文件对象，会自动使用IO缓存和内存管理，是一种很好的方法；

第二种：调用readline()方法，一次读取一行，也不会占用太大内存，但代码显得臃肿，而且，虽然readline()方法是用C实现的，但相比于1的直接操作文件对象，速度上并没有明显的提升；

第三种：调用readlines()方法，返回的是一个包含所有文件元素的列表，如果文件很大(1个G)，那就很占用内存，所以大文件情况下，最不推荐这种方法。

综上：推荐第一种写法，即直接遍历文件对象。

另外，还可以用pandas提供的分块读取功能，下一篇详细介绍。

转载于:https://www.cnblogs.com/chaofan-/p/8819147.html

python如何打开一个大文件？相关推荐

python读取大文件-python快速读取一个大文件内容(瞎猜)
问题: python有没有一种方法是比简单的readlines()方法更快的方式去读取单个文件,比如,一个从头读文件,一个从尾部读文件,再或者预先将一个文件的行索引分成几个部分来读(文件行内容的操作顺 ...
python 数组写txt_python打开一个txt文件的具体代码
python如何打开一个txt文件文件的打开的两种方式 f = open("data.txt","r") #设置文件对象 f.close() #关闭文件 #为 ...
python实现语音播放_python通过wxPython打开一个音频文件并播放的方法
本文实例讲述了python通过wxPython打开一个音频文件并播放的方法.分享给大家供大家参考.具体如下: 这段代码片段使用wx.lib.filebrowsebutton.FileBrowseBut ...
如何使用Python打开一个TXT文件
如何使用Python打开一个TXT文件 1 相对路径首先需要找到当前工作路径,使用以下代码: import os f=os.getcwd() print(f) 将需要打开的TXT文件放入刚才找到的同 ...
用python 打开一个excel文件
题目:用python 打开一个xls文件 import xlrd #打开xls文件 data1 = xlrd.open_workbook(r'C:\\Users\\Administrator\\Des ...
Python创建并且打开一个mat文件
import scipy.io as sio #创建一个mat文件 x = [1, 2, 3] y = [4, 5, 6] z = [7, 8, 9] sio.savemat('saveddata.m ...
Python——生成一个大文件ips.txt,要求1200行，每行随机为172.25.254.0/24段的ip（京东二面笔试题）
代码块: from collections import Iterable f = open('/tmp/passwd') print(isinstance(f,Iterable)) for i,it ...
Facebook图片存储系统Haystack——存小文件，本质上是将多个小文件合并为一个大文件来降低io次数，meta data里存偏移量...
转自:http://yanyiwu.com/work/2015/01/04/Haystack.html 一篇14页的论文Facebook-Haystack, 看完之后我的印象里就四句话: 因为[传统文 ...
python如何打开一个xlsx用列表的格式写入数据
以下代码有什么bug self.fp = open(f'./{file_name}.xlsx', 'w', encoding='utf-8'),python如何打开一个xlsx用列表的格式写入数据以 ...

python如何打开一个大文件？

python如何打开一个大文件？相关推荐

最新文章

热门文章