pandas.read_csv——分块读取大文件

read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO Tools 举例如下：In [138]: reader = pd.read_table('tmp.sv', sep='|', chunksize=4)In [139]: reader
Out[139]: <pandas.io.parsers.TextFileReader at 0x120d2f290>In [140]: for chunk in reader:.....:     print(chunk).....: Unnamed: 0         0         1         2         3
0           0  0.469112 -0.282863 -1.509059 -1.135632
1           1  1.212112 -0.173215  0.119209 -1.044236
2           2 -0.861849 -2.104569 -0.494929  1.071804
3           3  0.721555 -0.706771 -1.039575  0.271860Unnamed: 0         0         1         2         3
0           4 -0.424972  0.567020  0.276232 -1.087401
1           5 -0.673690  0.113648 -1.478427  0.524988
2           6  0.404705  0.577046 -1.715002 -1.039268
3           7 -0.370647 -1.157892 -1.344312  0.844885Unnamed: 0         0        1         2         3
0           8  1.075770 -0.10905  1.643563 -1.469388
1           9  0.357021 -0.67460 -1.776904 -0.968914指定iterator=True 也可以返回一个可迭代对象TextFileReader ：In [141]: reader = pd.read_table('tmp.sv', sep='|', iterator=True)In [142]: reader.get_chunk(5)
Out[142]: Unnamed: 0         0         1         2         3
0           0  0.469112 -0.282863 -1.509059 -1.135632
1           1  1.212112 -0.173215  0.119209 -1.044236
2           2 -0.861849 -2.104569 -0.494929  1.071804
3           3  0.721555 -0.706771 -1.039575  0.271860
4           4 -0.424972  0.567020  0.276232 -1.087401最后定义如下函数返回df:def get_df(file):mylist = []for chunk in  pd.read_csv(file, chunksize=20000):mylist.append(chunk)temp_df = pd.concat(mylist, axis= 0)del mylistreturn temp_df

pandas.read_csv——分块读取大文件相关推荐

数据处理：1 用pandas处理大型csv文件 2 使用Pandas分块处理大文件 3 分块读取
在训练机器学习模型的过程中,源数据常常不符合我们的要求.大量繁杂的数据,需要按照我们的需求进行过滤.拿到我们想要的数据格式,并建立能够反映数据间逻辑结构的数据表达形式. 最近就拿到一个小任务,需要处 ...
pandas读取大文件（chunksize）并通过sqlalchemy写入MySQL数据库
pandas读取大文件(chunksize)并通过sqlalchemy写入MySQL数据库在pandas中读取表类文件的时候有一个参数chunksize,只要指定了这个参数的数值,那么得到的结果就不 ...
成功解决利用pandas的read_csv函数读取csv文件的时候出现中文乱码问题
成功解决利用pandas的read_csv函数读取csv文件的时候出现中文乱码问题目录解决问题解决思路解决方法解决问题利用pandas的read_csv函数读取csv文件的时候出现中文乱码 ...
python读取大文件-Python如何读取、拆分大文件
简述最近和第三方数据接触较多,数据量也开始陡增,从一开始的1KW行,最大到了1亿行,这让我这个常年处理"小数据'的人有点捉襟见肘.本来数据放在hive中也是可以操作的,但是有时候需求是做一 ...
Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size
Pandas 如何保存较大文件.'ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size ...
Windows/Linux上使用fopen相关函数读取大文件
在介绍读取大文件之前,先了解下<cstdint>文件,标准头文件,存放固定宽度整数类型,如int32_t, uint32_t,不管在32位上还是64位上,长度都为4个字节:int64_t, ...
python读取大文件-使用Python读取大文件的方法
背景最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法. 准备工作 ...
多线程读取大文件，尤其是对日志文件分析很有用。
我在之前的公司里工作的时候,他们要求我做一个能够分析IIS日志的程序,可我做来做去,也只能做到,1个G的文件读取在140秒左右.愁了很久,想到了用多线程读取大文件的方法,又发现文件读取流可以有很多个, ...
【Python强化】使用pandas和csv读取csv文件
一.pandas读取方式 1.csv介绍 csv文件是一种以逗号分割字符的文件形式我们创建一个简单的文件demo.csv,如下格式的形式进行存储,以,进行分割 name,score,age,sex ...

pandas.read_csv——分块读取大文件

pandas.read_csv——分块读取大文件相关推荐

最新文章

热门文章