基本写法如下：

import pandas as pdcsv_iterator = pd.read_csv('csv文件位置.csv', iterator=True, chunksize=2) # 一次读取2行数据for data in csv_iterator:print(data)

或者指定每次读取的数据量使用：

import pandas as pdcsv_iterator = pd.read_csv('csv文件位置.csv', iterator=True)for i in range(5):data = csv_iterator.get_chunk(2) # 每次读取2行数据print(data)

参考资料

IO tools (text, CSV, HDF5, …)：https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html

pandas流式读取数据，不再担心内存炸裂相关推荐

多进程IterableDataset流式读取数据的坑：每个进程会读取一遍完整数据
构建流式读取DataLoader的方法可以参考:pytorch构造可迭代的DataLoader,动态流式读取数据源,不担心内存炸裂(pytorch Data学习三) 使用如下方法构造DataLoade ...
mybatis中mysql流式读取_MyBatis读取大量数据（流式读取）
## 一.背景导出大量数据时,虚拟机频繁GC,内存耗尽,CPU爆满,可采用Mybatis数据流式读取进行优化. ## 二.JDBC三种读取方式: 1. 一次全部(默认):一次获取全部. 2. 流式: ...
【267期】面试官：Mybatis 如何实现流式读取 MySQL 大数据量记录？
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每一天进步一点点,是成功的开始... 背景最近 ...
GBase 8a MPP数据库如何通过JDBC实现数据的流式读取
为什么要使用流式读取: 在我们使用JDBC驱动从数据库获取数据的时候,一般情况下,进行一次查询,结果集是一次性从集群获取的,并存放在JDBC所在应用的内存中,这种情况如果查询的结果集比较大,将会导致应 ...
【2017年第4期】流式大数据实时处理技术、平台及应用
陈纯浙江大学计算机科学与技术学院,浙江杭州 310058 摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的 ...
全面解析流式大数据实时处理技术、平台及应用
一. 引言大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类.其中 ...
pandas使用read_csv读取数据使用skiprows参数跳过指定的数据行但保留表头、pandas使用to_csv函数将dataframe保存为gzip压缩文件
pandas使用read_csv读取数据使用skiprows参数跳过指定的数据行但保留表头.pandas使用to_csv函数将dataframe保存为gzip压缩文件目录
python pandas 读取数据库_数据分析-pandas从数据库读取数据
数据分析-pandas从数据库读取数据使用pandas读取数据到DataFrame,对于只是数据分析来说,重点是读取数据,读取数据过程越简单越好,并不需要写得很复杂显得自己很厉害的样子.最好就是代码 ...
关于流式大数据实时处理技术、平台及应用
1 引言大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类.其中, ...

pandas流式读取数据，不再担心内存炸裂

参考资料

pandas流式读取数据，不再担心内存炸裂相关推荐

最新文章

热门文章