4G内存怎么读取5G数据（python中的生成器、Linux的split命令）

1、使用python的生成器，一小段一小段数据读取
生成器：具有yield的函数就是生成器，是一个可以返回迭代器的函数
迭代器：知道遍历位置的对象，有iter()和next()方法
代码举例：

 def get_lines():  # 生成器with open('12306.py', 'r') as f:while True:data = f.readlines(100)if data:yield dataelse:breakf = get_lines()  # 迭代器对象
print(next(f))
print(next(f))
print(next(f))

2、Linux的split命令
可以把文件拆成一个个小文件进行操作
作用：split将一个文件分割成一个个指定大小的文件
使用语法： split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
常用的选项是-b按照字节切割，-l按照行数切割
在黑窗口中输入命令，使用举例：

 python@ubuntu:~/Desktop$ split -l 2 requirements.txt re.txt 意思：按照两行切割requirements.txt文件，切割后的文件名叫re.txt。回车后会生成好多re文件，里面都是两行代码

4G内存怎么读取5G数据（python中的生成器、Linux的split命令）相关推荐

4G内存怎么读取5G数据
方法一: 可以通过生成器,分多次读取,开始读取500M数据,处理后再接着读取后面的数据. 方法二: 可以通过Linux中的split方法切割成小文件,然后再对数据进行处理,这种方法的效率比较高,可以按 ...
python configparser 数组_python读取ini配置文件,python中数组如何表示
python读取ini配置文件 Python必须使用configparser包来读取ini配置,因此首先加载它. 导入configparser后,我们需要加载配置文件. config=configpa ...
Python中的生成器与迭代器
Python中的生成器与迭代器转自:https://www.liaoxuefeng.com/wiki/1016959663602400/1017323698112640,推荐去该链接读原文,有习题和 ...
python编程有什么用处-python中的生成器是什么？生成器有什么用处？
在以下的文章之中我们来了解一下什么是python中生成器.了解一下python生成器是什么,以及生成器在python编程之中能起到什么样的作用. python生成器是什么? 通过列表生成式,我们可以直 ...
python的是什么-python中的生成器是什么？生成器有什么用处？
在以下的文章之中我们来了解一下什么是python中生成器.了解一下python生成器是什么,以及生成器在python编程之中能起到什么样的作用. python生成器是什么? 通过列表生成式,我们可以直 ...
Python中字符串操作函数string.split('str1')和string.join(ls)
Python中的字符串操作函数split 和 join能够实现字符串和列表之间的简单转换, 使用 .split()可以将字符串中特定部分以多个字符的形式,存储成列表 1 def split(self, ...
python的装饰器迭代器与生成器_详解python中的生成器、迭代器、闭包、装饰器
迭代是访问集合元素的一种方式.迭代器是一个可以记住遍历的位置的对象.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 1|1可迭代对象以直接作用于 for ...
python dask_使用 Dask 在 Python 中进行并行计算 | Linux 中国
原标题:使用 Dask 在 Python 中进行并行计算 | Linux 中国 Dask 库可以将 Python 计算扩展到多个核心甚至是多台机器. -- Moshe Zadka 关于 Python ...
python生成器和迭代器作用_浅谈Python中的生成器和迭代器
迭代器迭代器协议对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么返回一个异常来终止本次迭代.(只能往前走,不能往后退!) 迭代器对象遵循了(实现了)迭代器协议的对象.(对象内 ...

4G内存怎么读取5G数据（python中的生成器、Linux的split命令）

4G内存怎么读取5G数据（python中的生成器、Linux的split命令）相关推荐

最新文章

热门文章