python3 yield 大文件_详解Python3中yield生成器的用法
任何使用yield的函数都称之为生成器,如:
def count(n):
while n > 0:
yield n #生成值:n
n -= 1
另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。
使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。
c = count(5)
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5
c.__next__()
>>>4
生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:
def count(n):
print ( "cunting" )
while n > 0:
yield n #生成值:n
n -= 1
在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:
def count(n):
print ("cunting" )
while n > 0:
print ('before yield')
yield n #生成值:n
n -= 1
print ('after yield' )
上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:
Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:
for i in count(5):
print (i),
实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。
import time
def tail(f):
f.seek(0,2)#移动到文件EOF
while True:
line = f.readline() #读取文件中新的文本行
if not line:
time.sleep(0.1)
continue
yield line
def grep(lines,searchtext):
for line in lines:
if searchtext in line:
yield line
flog = tail(open('warn.log'))
pylines = grep(flog,'python')
for line in pylines:
print ( line, )
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了
#新的行,且该行包含python
用yield实现斐波那契数列:
def fibonacci():
a=b=1
yield a
yield b
while True:
a,b = b,a+b
yield b
调用:
for num in fibonacci():
if num > 100:
break
print (num),
yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:
def read_file(path):
size = 1024
with open(path,'r') as f:
while True:
block = f.read(SIZE)
if block:
yield block
else:
return
如果是在函数中return 具体某个值,就直接抛异常了
>>> def test_return():
... yield 4
... return 0
...
File "", line 3
SyntaxError: 'return' with argument inside generator
例子
下面来看几段代码示例:
例1:
>>> def mygenerator():
... print 'start...'
... yield 5
...
>>> mygenerator() //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停
>>> mygenerator().next() //调用next()即可让函数运行.
start...
5
>>>
如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:
例2:
>>> def fun2():
... print 'first'
... yield 5
... print 'second'
... yield 23
... print 'end...'
...
>>> g1 = fun2()
>>> g1.next() //第一次运行,暂停在yield 5
first
5
>>> g1.next() //第二次运行,暂停在yield 23
second
23
>>> g1.next() //第三次运行,由于之后没有yield,再次next()就会抛出错误
end...
Traceback (most recent call last):
File "", line 1, in
StopIteration
>>>
为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:
例3:
>>> def fun():
... print 'start...'
... m = yield 5
... print m
... print 'middle...'
... d = yield 12
... print d
... print 'end...'
...
>>> m = fun() //创建一个对象
>>> m.next() //会使函数执行到下一个yield前
start...
5
>>> m.send('message') //利用send()传递值
message //send()传递进来的
middle...
12
>>> m.next()
None //可见next()返回值为空
end...
Traceback (most recent call last):
File "", line 1, in
StopIteration
本文标题: 详解Python3中yield生成器的用法
本文地址: http://www.cppcns.com/jiaoben/python/129931.html
python3 yield 大文件_详解Python3中yield生成器的用法相关推荐
- python的装饰器迭代器与生成器_详解python中的生成器、迭代器、闭包、装饰器
迭代是访问集合元素的一种方式.迭代器是一个可以记住遍历的位置的对象.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 1|1可迭代对象 以直接作用于 for ...
- python中break怎么用_详解Python中break语句的用法
详解Python中break语句的用法 在Python中的break语句终止当前循环,继续执行下一个语句,就像C语言中的break一样. break最常见的用途是当一些外部条件被触发,需要从一个循环中 ...
- python中heapq的库是什么_详解Python中heapq模块的用法
详解Python中heapq模块的用法 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: 详解Python中heapq模块的用法.txt ] (友情提示:右键点上行t ...
- python中get函数是什么意思_详解python中get函数的用法(附代码)_后端开发
strncmp函数用法详解_后端开发 strncmp函数为字符串比较函数,其函数语法为"int strncmp ( const char * str1, const char * str2, ...
- python中index函数_详解python中的index函数用法
1.函数的创建 def fun(): #定义 print('hellow') #函数的执行代码 retrun 1 #返回值 fun() #执行函数 2.函数的参数 普通参数 :要按照顺序输入参数 de ...
- load python txt文件_详解Python中numpy.loadtxt()读取txt文件
为了方便使用和记忆,有时候我们会把 numpy.loadtxt() 缩写成np.loadtxt() ,本篇文章主要讲解用它来读取txt文件. 读取txt文件我们通常使用 numpy 中的 loadtx ...
- python3.3psutil模块安装_详解Python3.6安装psutil模块和功能简介
一.psutil模块 1. psutil是一个跨平台库,能够轻松实现获取系统运行的进程和系统利用率(包括CPU.内存.磁盘.网络等)信息.它主要应用于系统监控,分析和限制系统资源及进程的管理.它实现了 ...
- 正则表达式在python中的应用_详解Python中的正则表达式的用法
如果直接在命令行中利用input和raw_input读入一个文件来处理,并且想要采用直接将文件拖入命令行来处理的方式, input方法可以直接处理,而如果要采用raw_input的方法的话,读入文件地 ...
- python grid函数_详解numpy中的meshgrid函数用法
numpy中的meshgrid函数的使用 numpy官方文档meshgrid函数帮助文档https://docs.scipy.org/doc/numpy/reference/generated/num ...
最新文章
- html5 漂亮的左右布局_欧式带小院10X16米,适合农村建房,比别墅还漂亮
- 买个云服务器有啥用_如何用阿里云轻量应用服务器配置一个WordPress网站?
- Oracle-04:DDL语言数据表的操作
- C语言Huffman Encode霍夫曼编码的算法(附完整源码)
- matlab匿名函数求导,Matlab中的匿名函数的使用
- c/c++ 编程试题
- python计算速度_python中如何提高计算速度?
- 免校准的电量计量芯片_单相电能表如何校准(单相电能计量芯片+MCU)
- 独家 | 微软披露拓扑量子计算机计划!
- 基于CloudStack+KVM的企业私有云的实现
- Problem A: 时间类的拷贝和整体读写
- matlab三维矩阵的运算符,【求助】多维矩阵求和运算!!
- 打开*.gd文件的方法
- linux添加模块设备,linux采用模块方法,添加一个新的设备
- weka 贝叶斯 java_weka中朴素贝叶斯的实现
- python 时频图_python,地震波形、时频图、频谱图计算和显示软件
- mysql 缺省date值_关于MySQL中date类型缺省值
- 焦距相关的基本概念及焦距对摄影效果的影响
- 关于ViewPager.PageTransformer的一些理解
- linux网卡配子接口,linux 内核学习(2).