第9条：用生成器表达式来改写数据量较大的列表推导式

核心知识点：

（1）当输入的数据量较大时，列表推导可能会因为占用太多内存而出问题。

（2）由生成器表达式所返回的迭代器，可以逐次产生输出值，从而避免内存用量问题。

（3）把某个生成器表达式所返回的迭代器，放在另一个生成器表达式的for子表达式中，即可将二者结合起来。

（4）串在一起的生成器表达式执行速度很快。

列表推导式的缺点是：在推导过程中，对于输入序列中的每个值来说，可能都要创建仅含一项元素的全新列表。

当输入的数据比较少时，不会出任何问题，但如果输入的数据非常多，那么可能会消耗大量内存，并导致程序崩溃。

所有的for循环都是将文件的内容依次读入到内存中。

例如，要读取一份文件并返回每行的字符数。若是采用列表推导来做，则需要把文件每一行的长度都保存在内存中。

如果这个文件特别大，或是通过无休止的network socket（网络套接字）来读取，那么这种列表推导就会出问题。

下面的这段列表推导代码，只适合处理少量的输入值。

[root@chenxing2 tmp]# cat /tmp/my_file.txt
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony:x:997:995::/var/lib/chrony:/sbin/nologin
cx:x:1000:1000:cx:/home/cx:/bin/bash
mysql:x:1001:1001::/home/mysql:/sbin/nologin

原文件比较小还好

>>> value = [len(x) for x in open('/tmp/my_file.txt')]
>>> print(value)
[62, 69, 48, 51, 100, 50, 67, 48, 37, 45]

为了解决此问题，python提供了生成器表达式，它是对列表推导和生成器的一种泛化。

生成器表达式在运行的时候，并不会把整个输出序列都呈现出来，而是会估值为迭代器，这个迭代器每次可以根据生成器表达式产生一项数据。

把实现列表推导所用的那种写法放在一对圆括号中，就构成了生成器表达式。

下面给出的生成器表达式与刚才的代码等效，二者的区别在于，生成器表达式求值的时候，它会立刻返回一个迭代器，而不会深入处理文件中的内容。

>>> it = (len(x) for x in open('/tmp/my_file.txt'))
>>> print(it)
<generator object <genexpr> at 0x7f53a13fee60>

以刚才返回的那个迭代器为参数，逐次调用内置的next函数，即可使其按照生成器表达式来输出下一个值。

可以根据自己的需要，多次命令迭代器根据生成器表达式来生成新的值，而不用担心内存用量激增。

>>> print(next(it))
62
>>> print(next(it))
69

使用生成器表达式还有个好处，就是可以互相结合。

下面这行代码会把刚才那个生成器表达式所返回的迭代器用作另外一个生成器表达式的输入值。

>>> roots = ((x,x**0.5) for x in it)

外围的迭代器每次前进时，都会推动内部那个迭代器，这就产生了连锁效应，使得执行循环、评估条件表达式、对接输入和输出等逻辑都组合在了一起。

>>> print(next(roots))
(48, 6.928203230275509)

上面这种连锁生成器表达式，可以迅速在python中执行。

如果要把多种手法组合起来，以操作大批量的输入数据，那最好是用生成器表达式来实现。

只是要注意：由生成器表达式所返回的那个迭代器是有状态的，用过一轮之后，就不要反复使用了。

文章摘抄于Brett Slatkin的《编写高质量Python代码的59个有效方法》，仅作为个人学习使用，如有侵权请告知，将及时删除，如果觉得有益，请购买原版书籍，知识需要传递和支持，谢谢。

转载于:https://www.cnblogs.com/yangmingxianshen/p/8018216.html

第9条：用生成器表达式来改写数据量较大的列表推导式相关推荐

python三元表达式求值_python 三元表达式的列表推导式生成器推导式
python中三元表达式的语法如下 ===if else result = x if condition else y 另外一种三元表达式,比较少见 result = (x, y)[condition ...
Python--三元表达式、列表推导式、生成器表达式、递归、匿名函数、内置函数...
三元表达式列表推导式生成器表达式递归与二分法匿名函数内置函数一.三元表达式 name=input('姓名>>: ') res='True' if name == 'lee' e ...
三元表达式、列表推导式、生成器表达式、递归、内置函数、匿名函数
一.三元表达式 name=input('姓名>>: ') res='SB' if name == 'alex' else 'NB' print(res) 二.列表推导式和生成器表达式 #老 ...
Python入门之三元表达式\列表推导式\生成器表达式\递归匿名函数\内置函数
本章目录: 一.三元表达式.列表推导式.生成器表达式二.递归调用和二分法三.匿名函数四.内置函数 ================================================ ...
python 三元表达式、列表推导式、生成器表达式、递归、匿名函数、内置函数
一.三元表达式语法:[成立1 if condition1 else成立2 if condition2 else ...if 成立N conditionN else 不成立] sex = 'man' ...
Python入门推导式 ! 解释：生成器表达式和列表推导式的区别
Python 入门之推导式学习python中有什么不懂的地方,小编这里推荐加小编的python学习群:895,817, 687 有任何不懂的都可以在里面交流,还有很好的视频教程pdf学习资料,大家 ...
Python 三元表达式、列表推导式、生成器表达式
一.三元表达式三元表达式,也称为if,else的紧凑形式.具体用法如下: def max(a,b):if a>b:return aelse:return bdef max(a,b):retur ...
六、Python之三元表达式、列表推导式、生成器表达式
1.三元表达式 #example1 x = 10 y = 20 res = x if x > y else y print(res) #example2 name = 'abc' res = ' ...
三元表达式、列表推导式、生成器表达式、递归、匿名函数、内置函数(day4)
一.三元表达式.列表推导式.生成器表达式 1.三元表达式name=input('姓名>>: ')res='SB' if name == 'alex' else 'NB'print(res) ...

第9条：用生成器表达式来改写数据量较大的列表推导式

第9条：用生成器表达式来改写数据量较大的列表推导式相关推荐

最新文章

热门文章