一文了解 Python 中的生成器
前言
生成器很容易实现,但却不容易理解。生成器也可用于创建迭代器,但生成器可以用于一次返回一个可迭代的集合中一个元素。现在来看一个例子:
def yrange(n):i = 0while i < n:yield ii += 1
每次执行 yield 语句时,函数都会生成一个新值。
“生成器”这个词被混淆地用来表示生成的函数和它生成的内容。
当调用生成器函数时,它甚至没有开始执行该函数就返回一个生成器对象。 当第一次调用 next()
方法时,函数开始执行直到它到达 yield 语句。 产生的值由下一次调用返回。
以下示例演示了 yield 和对生成器对象上的 next 方法的调用之间的相互作用。
>>> def foo(): ... print("begin") ... for i in range(3): ... print("before yield", i) ... yield i ... print("after yield", i) ... print("end") ... >>> f = foo() >>> next(f) begin before yield 0 0 >>> next(f) after yield 0 before yield 1 1 >>> next(f) after yield 1 before yield 2 2 >>> next(f) after yield 2 end Traceback (most recent call last):File "<pyshell#13>", line 1, in <module>next(f) StopIteration >>>
生成器也是迭代器
生成器也是迭代器,支持使用 for 循环。当使用 for
语句开始对一组项目进行迭代时,即运行生成器。一旦生成器的函数代码到达 yield
语句,生成器就会将其执行交还给 for
循环,从集合中返回一个新值。生成器函数可以根据需要生成任意数量的值(可能是无限的),依次生成每个值。
f_2 = foo() for i in f_2: print(i)begin before yield 0 0 after yield 0 end before yield 1 1 after yield 1 end before yield 2 2 after yield 2 end
当一个函数包含 yield
时,Python 会自动实现一个迭代器,为我们应用所有需要的方法,比如 __iter__()
和 __next__()
,所以生成器也能和迭代器有相同的功能,如下所示:
def yrange():i = 1while True:yield ii = i + 1def squares():for i in yrange():yield i * idef take(n, seq):seq = iter(seq)result = []try:for i in range(n):result.append(next(seq))except StopIteration:passreturn resultprint(take(5, squares()))# [1, 4, 9, 16, 25]
接下来看一下如何使用生成器计算斐波那契数列:
def fib(n):if n <= 1:return 1a, b = 0, 1for _ in range(n):a, b = b, a + byield afor i in fib(10):print(i, end=' ')# Result:1 1 2 3 5 8 13 21 34 55
生成器推导式
生成器表达式是列表推导式的生成器版本。它们看起来像列表推导式,但返回的是一个生成器,而不是一个列表。生成器推导式的本质:
- 使用 yield 会产生一个生成器对象
- 用 return 将返回当前的第一个值。
generator_expressions = (x for x in range(10)) generator_expressions <generator object <genexpr> at 0x0000023F8BC51AF0> sum(generator_expressions) 45
无限生成器
生成器的另一个常见场景是无限序列生成。在 Python 中,当您使用有限序列时,您可以简单地调用 range()
并在列表中对其进行计数,例如:
a = range(5) print(list(a)) [0, 1, 2, 3, 4]
也可以这样做,使用如下生成器生成无限序列:
def infinite_sequence():num = 0while True:yield numnum += 1
运行此代码时,可以看到其运行非常快,可以通过 CTRL+C
来使得程序结束,如下:
生成器实际用法
1. 读取文件行
生成器的一个常见用法是处理大型文件或数据流,例如 CSV 文件。假设我们需要计算文本文件中有多少行,我们的代码可能如下所示:
def csv_reader(file_name):file = open(file_name)result = file.read().split("\n")return resultcsv_gen = csv_reader("some_file.csv") row_count = 0for row in csv_gen:row_count += 1print(f"Row count is {row_count}")
我们的 csv_reader
函数将简单地将文件打开到内存中并读取所有行,然后它将行拆分并与文件数据形成一个数组。如果文件包含几千行,可能就会导致速度变慢,设置是内存被占满。
这里就可以通过生成器重构的 csv_reader
函数。
def csv_reader(file_name):for row in open(file_name, "r"):yield row
- 读取文件内容
def readfiles(filenames):for f in filenames:for line in open(f):yield linedef grep(pattern, lines):return (line for line in lines if pattern in line)def printlines(lines):for line in lines:print(line, end="")def main(pattern, filenames):lines = readfiles(filenames)lines = grep(pattern, lines)printlines(lines)
高级生成器用法
到目前为止,我们已经介绍了生成器最常见的用途和构造,但还有更多内容需要介绍。随着时间的推移,Python 为生成器添加了一些额外的方法:
send()
函数throw()
函数close()
函数
接下来,我们来看一下如何使用这三个函数。
- 首先,新建一个生成器将生成素数,其实现如下:
def isPrime(n):if n < 2 or n % 1 > 0:return Falseelif n == 2 or n == 3:return Truefor x in range(2, int(n**0.5) + 1):if n % x == 0:return Falsereturn Truedef getPrimes():value = 0while True:if isPrime(value):i = yield valueif i is not None:value = ivalue += 1
- 然后我们调用
send()
函数,这个函数会向生成器prime_gen
传入一个值,然后从这个值开始计算下一个素数的值:
prime_gen = getPrimes() print(next(prime_gen)) print(prime_gen.send(1000)) print(next(prime_gen))
可以看到如下结果:
throw()
允许您使用生成器抛出异常。例如,这对于以某个值结束迭代很有用。比如我们想得到小于 20 的素数就可以使用如下方法:
prime_gen = getPrimes()for x in prime_gen:if x > 20:prime_gen.throw(ValueError, "I think it was enough!")print(x)
运行该代码,得到结果如下:
- 在前面的示例中,我们通过引发异常来停止迭代,但这并不是用户想看到的,谁想看到报错呢。因此,结束迭代的更好方法是使用
close()
:
prime_gen = getPrimes()for x in prime_gen:if x > 20:prime_gen.close()print(x)
运行结果如下图:
可以看到,生成器在运行到停止了,没有引发任何异常。
总结
生成器简化了迭代器的创建。 生成器是产生一系列结果而不是单个值的函数。
生成器可以用于优化 Python 应用程序的性能,尤其是在使用大型数据集或文件时的场景中。
生成器还通过避免复杂的迭代器实现或通过其他方式处理数据来提供清晰的代码。
一文了解 Python 中的生成器相关推荐
- python编程有什么用处-python中的生成器是什么?生成器有什么用处?
在以下的文章之中我们来了解一下什么是python中生成器.了解一下python生成器是什么,以及生成器在python编程之中能起到什么样的作用. python生成器是什么? 通过列表生成式,我们可以直 ...
- python生成器和迭代器作用_浅谈Python中的生成器和迭代器
迭代器 迭代器协议 对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么返回一个异常来终止本次迭代.(只能往前走,不能往后退!) 迭代器对象 遵循了(实现了)迭代器协议的对象.(对象内 ...
- python的 是什么-python中的生成器是什么?生成器有什么用处?
在以下的文章之中我们来了解一下什么是python中生成器.了解一下python生成器是什么,以及生成器在python编程之中能起到什么样的作用. python生成器是什么? 通过列表生成式,我们可以直 ...
- python中的字符串是什么,一文秒懂Python中的字符串
摘要:本文将告诉您Python中的字符串是什么,并向您简要介绍有关该概念的所有知识. 因此,让我们开始吧. 什么是Python中的字符串? 我们许多熟悉C,C ++等编程语言的人都会得到诸如" ...
- Python中的生成器与迭代器
Python中的生成器与迭代器 转自:https://www.liaoxuefeng.com/wiki/1016959663602400/1017323698112640,推荐去该链接读原文,有习题和 ...
- python 迭代器协议_浅谈Python中的生成器和迭代器
迭代器 迭代器协议 对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么返回一个异常来终止本次迭代.(只能往前走,不能往后退!) 迭代器对象 遵循了(实现了)迭代器协议的对象.(对象内 ...
- python的装饰器迭代器与生成器_详解python中的生成器、迭代器、闭包、装饰器
迭代是访问集合元素的一种方式.迭代器是一个可以记住遍历的位置的对象.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 1|1可迭代对象 以直接作用于 for ...
- python中的生成器和迭代器
欢迎关注"生信修炼手册"! 迭代是python中最常见的操作,比如遍历一个列表 >>> a = [1, 2, 3] >>> for i in a ...
- python中的生成器和迭代器:Generator和Iterator以及yield
文章目录 Iterator Generator 构造生成器 Iterator 即迭代器,源自可迭代对象,例如list,tuple,dict,set,str等(凡是含有__iter__方法的,都是可迭代 ...
最新文章
- 大用户规模互联网架构发展
- JDK9新特性实战:简化流关闭新姿势。
- 【ShareCode】不错的技术文章 -- 如何使用异或(XOR)运算找到数组中缺失的数?...
- JS类型判断、对象克隆、数组克隆
- 使用localStorage实现历史记录搜索功能也就是天猫app历史记录存储方便浏览
- 【MM配置】 MM组织架构的配置
- 【Python】手把手教你用Python做一个图像融合demo,小白可上手!
- jquery中$each()
- 数据库高级知识——主从复制
- 句向量的表示(上)—无监督
- C++关于string的一些用法
- gflags的使用实例(转载)
- 关于MATLAB实现的数字信号处理(四)
- TVM代码库结构概述
- Uncaught TypeError: Cannot read property 'alpha' of undefined 报错解决
- 有了800件T恤测量数据,能选出最合身的尺寸吗?
- Cesium 显示三维地球和地图的开源js库
- 常用PC,移动浏览器User-Agent大全
- 02 matplotlib - 柱状图、直方图、散点图 、饼图
- 计算机网络基本概念相关习题
热门文章
- python 模拟键盘按键错乱,ubuntu中vi编辑器键盘错乱的问题
- 基于JAVA汽车出租平台计算机毕业设计源码+数据库+lw文档+系统+部署
- arduino温度控制器_适用于FPS的最佳控制器-使用Arduino和OrbShield与Windows 7配合使用的SpaceTec SpaceOrb 360控制器...
- 1135 Is It A Red-Black Tree (30分)
- 主流车企在元宇宙的动向和布局
- 这几天,聊到的最多的就是互通有无
- 转载-Android EventLog含义
- 决策树(Decision Tree)理解及参数介绍
- 2016弱校联盟十一专场10.2——Floyd-Warshall
- 计算机考研复试【面试真题】