(转)python基础之迭代器协议和生成器(一)
一 递归和迭代
二 什么是迭代器协议
1.迭代器协议是指:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个StopIteration异常,以终止迭代 (只能往后走不能往前退)
2.可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义一个__iter__()方法)
3.协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如for循环,sum,min,max函数等)使用迭代器协议访问对象。
三 python中强大的for循环机制
for循环的本质:循环所有对象,全都是使用迭代器协议。
正本清源:
很多人会想,for循环的本质就是遵循迭代器协议去访问对象,那么for循环的对象肯定都是迭代器了啊,没错,那既然这样,for循环可以遍历(字符串,列表,元组,字典,集合,文件对象),那这些类型的数据肯定都是可迭代对象啊?但是,我他妈的为什么定义一个列表l=[1,2,3,4]没有l.next()方法,打脸么。
(字符串,列表,元组,字典,集合,文件对象)这些都不是可迭代对象,只不过在for循环式,调用了他们内部的__iter__方法,把他们变成了可迭代对象
然后for循环调用可迭代对象的__next__方法去取值,而且for循环会捕捉StopIteration异常,以终止迭代
l=['a','b','c'] #一:下标访问方式 print(l[0]) print(l[1]) print(l[2]) # print(l[3])#超出边界报错:IndexError#二:遵循迭代器协议访问方式 diedai_l=l.__iter__() print(diedai_l.__next__()) print(diedai_l.__next__()) print(diedai_l.__next__()) # print(diedai_l.__next__())#超出边界报错:StopIteration#三:for循环访问方式
# for循环l本质就是遵循迭代器协议的访问方式,先调用diedai_l=l.__iter__()方法,或者直接diedai_l=iter(l),然后依次执行diedai_l.next(),直到for循环捕捉到StopIteration终止循环 # for循环所有对象的本质都是一样的原理 for i in l: # diedai_l=l.__iter__() print(i) # i=diedai_l.next() # 四:用while去模拟for循环做的事情 diedai_l=l. __iter__ () whileTrue: try : print(diedai_l. __next__ ()) exceptStopIteration: print( ' 迭代完毕了,循环终止了 ' ) break
四 为何要有for循环
基于上面讲的列表的三种访问方式,聪明的你立马看除了端倪,于是你不知死活大声喊道,你这不逗我玩呢么,有了下标的访问方式,我可以这样遍历一个列表啊
l=[1,2,3]index=0 while index < len(l):print(l[index])index+=1#要毛线for循环,要毛线for循环,要毛线for循环
没错,序列类型字符串,列表,元组都有下标,你用上述的方式访问,perfect!但是你可曾想过非序列类型像字典,集合,文件对象的感受,所以嘛,年轻人,for循环就是基于迭代器协议提供了一个统一的可以遍历所有对象的方法,即在遍历之前,先调用对象的__iter__方法将其转换成一个迭代器,然后使用迭代器协议去实现循环访问,这样所有的对象就都可以通过for循环来遍历了,而且你看到的效果也确实如此,这就是无所不能的for循环,觉悟吧,年轻人
五 生成器初探
什么是生成器?
可以理解为一种数据类型,这种数据类型自动实现了迭代器协议(其他的数据类型需要调用自己内置的__iter__方法),所以生成器就是可迭代对象
生成器分类及在python中的表现形式:(Python有两种不同的方式提供生成器)
1.生成器函数:常规函数定义,但是,使用yield语句而不是return语句返回结果。yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次重它离开的地方继续执行
2.生成器表达式:类似于列表推导,但是,生成器返回按需产生结果的一个对象,而不是一次构建一个结果列表
为何使用生成器之生成器的优点
Python使用生成器对延迟操作提供了支持。所谓延迟操作,是指在需要的时候才产生结果,而不是立即产生结果。这也是生成器的主要好处。
生成器小结:
1.是可迭代对象
2.实现了延迟计算,省内存啊
3.生成器本质和其他的数据类型一样,都是实现了迭代器协议,只不过生成器附加了一个延迟计算省内存的好处,其余的可迭代对象可没有这点好处,记住喽!!!
六 生成器函数
def lay_eggs(num):egg_list=[]for egg in range(num):egg_list.append(’蛋%s’ %egg)return egg_listyikuangdan=lay_eggs(10) #我们拿到的是蛋 print(yikuangdan)def lay_eggs(num):for egg in range(num):res=’蛋%s’ %eggyield resprint(’下完一个蛋’)laomuji=lay_eggs(10)#我们拿到的是一只母鸡 print(laomuji) print(laomuji.__next__()) print(laomuji.__next__()) print(laomuji.__next__()) egg_l=list(laomuji) print(egg_l) #演示只能往后不能往前
# 演示蛋下完了,母鸡就死了
母鸡下蛋的传说
七 生成器表达式和列表解析
#三元表达式 name='alex' name='linhaifeng' res='SB' if name == 'alex' else 'shuai' print(res)
#老男孩由于峰哥的强势加盟很快走上了上市之路,alex思来想去决定下几个鸡蛋来报答峰哥egg_list=['鸡蛋%s' %i for i in range(10)] #列表解析#峰哥瞅着alex下的一筐鸡蛋,捂住了鼻子,说了句:哥,你还是给我只母鸡吧,我自己回家下laomuji=('鸡蛋%s' %i for i in range(10))#生成器表达式 print(laomuji) print(next(laomuji)) #next本质就是调用__next__ print(laomuji.__next__()) print(next(laomuji))
林海峰与Alex的故事
总结:
1.把列表解析的[]换成()得到的就是生成器表达式
2.列表解析与生成器表达式都是一种便利的编程方式,只不过生成器表达式更节省内存
3.Python不但使用迭代器协议,让for循环变得更加通用。大部分内置函数,也是使用迭代器协议访问对象的。例如, sum函数是Python的内置函数,该函数使用迭代器协议访问对象,而生成器实现了迭代器协议,所以,我们可以直接这样计算一系列值的和:
1 sum(x ** 2 for x in xrange(4))
而不用多此一举的先构造一个列表:
1 sum([x ** 2 for x in xrange(4)])
八 生成器总结
综上已经对生成器有了一定的认识,下面我们以生成器函数为例进行总结
- 语法上和函数类似:生成器函数和常规函数几乎是一样的。它们都是使用def语句进行定义,差别在于,生成器使用yield语句返回一个值,而常规函数使用return语句返回一个值
- 自动实现迭代器协议:对于生成器,Python会自动实现迭代器协议,以便应用到迭代背景中(如for循环,sum函数)。由于生成器自动实现了迭代器协议,所以,我们可以调用它的next方法,并且,在没有值可以返回的时候,生成器自动产生StopIteration异常
- 状态挂起:生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态,保留足够的信息,以便之后从它离开的地方继续执行
优点一:生成器的好处是延迟计算,一次返回一个结果。也就是说,它不会一次生成所有的结果,这对于大数据量处理,将会非常有用。
1 #列表解析 2 sum([i for i in range(100000000)])#内存占用大,机器容易卡死 3 4 #生成器表达式 5 sum(i for i in range(100000000))#几乎不占内存
优点二:生成器还能有效提高代码可读性
#求一段文字中,每个单词出现的位置 def index_words(text):result = []if text:result.append(0)for index, letter in enumerate(text, 1):if letter == ' ':result.append(index)return resultprint(index_words('hello alex da sb'))不使用迭代器
不使用迭代器
#求一段文字中每个单词出现的位置 def index_words(text):if text:yield 0for index, letter in enumerate(text, 1):if letter == ' ':yield indexg=index_words('hello alex da sb') print(g) print(g.__next__()) print(g.__next__()) print(g.__next__()) print(g.__next__()) print(g.__next__())#报错
使用迭代器
这里,至少有两个充分的理由说明 ,使用生成器比不使用生成器代码更加清晰:
- 使用生成器以后,代码行数更少。大家要记住,如果想把代码写的Pythonic,在保证代码可读性的前提下,代码行数越少越好
- 不使用生成器的时候,对于每次结果,我们首先看到的是result.append(index),其次,才是index。也就是说,我们每次看到的是一个列表的append操作,只是append的是我们想要的结果。使用生成器的时候,直接yield index,少了列表append操作的干扰,我们一眼就能够看出,代码是要返回index。
这个例子充分说明了,合理使用生成器,能够有效提高代码可读性。只要大家完全接受了生成器的概念,理解了yield语句和return语句一样,也是返回一个值。那么,就能够理解为什么使用生成器比不使用生成器要好,能够理解使用生成器真的可以让代码变得清晰易懂。
注意事项:生成器只能遍历一次(母鸡一生只能下一定数量的蛋,下完了就死掉了)
人口信息.txt文件内容 {'name':'北京','population':10} {'name':'南京','population':100000} {'name':'山东','population':10000} {'name':'山西','population':19999}def get_provice_population(filename):with open(filename) as f:for line in f:p=eval(line)yield p['population'] gen=get_provice_population('人口信息.txt')all_population=sum(gen) for p in gen:print(p/all_population) 执行上面这段代码,将不会有任何输出,这是因为,生成器只能遍历一次。在我们执行sum语句的时候,就遍历了我们的生成器,当我们再次遍历我们的生成器的时候,将不会有任何记录。所以,上面的代码不会有任何输出。因此,生成器的唯一注意事项就是:生成器只能遍历一次。
人口信息
#_*_coding:utf-8_*_ __author__ = 'Linhaifeng'def test():for i in range(4):yield ig=test()g1=(i for i in g) g2=(i for i in g1)print(list(g1)) print(list(g2))
玩晕你
def add(n,i):return n+idef test():for i in range(4):yield ig=test() for n in [1,10]:g=(add(n,i) for i in g)print(list(g))
玩晕你二
import osdef init(func):def wrapper(*args,**kwargs):g=func(*args,**kwargs)next(g)return greturn wrapper@init def list_files(target):while 1:dir_to_search=yieldfor top_dir,dir,files in os.walk(dir_to_search):for file in files:target.send(os.path.join(top_dir,file)) @init def opener(target):while 1:file=yieldfn=open(file)target.send((file,fn)) @init def cat(target):while 1:file,fn=yieldfor line in fn:target.send((file,line))@init def grep(pattern,target):while 1:file,line=yieldif pattern in line:target.send(file) @init def printer():while 1:file=yieldif file:print(file)g=list_files(opener(cat(grep('python',printer()))))g.send('/test1')
协程应用:grep -rl /dir
转自:
python基础之迭代器协议和生成器(一) - devops1992 - 博客园
https://www.cnblogs.com/bingabcd/p/6691730.html
(转)python基础之迭代器协议和生成器(一)相关推荐
- python基础:迭代器、生成器(yield)详细解读
1. 迭代器 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,知道所有的元素被访问完结束.迭代器只能往前不会后退,不过这也没什么,因为人们很少在迭代途中往后退. 1.1 使用迭代 ...
- Python基础14-迭代器与生成器
目录 迭代器 官方文档对迭代器的解释 迭代器协议 基于迭代器协议的统一的for循环机制 生成器 官方文档对生成器的解释 生成器函数 生成器表达式 生成器用法举例 利用生成器用单线程实现生产者消费者问题 ...
- Python学习之迭代器协议
文章目录 迭代(iteration) 可迭代(iterable) 迭代器(iterator) 迭代器协议(iterator protocol) 迭代器协议与 for 循环 迭代(iteration) ...
- Day4 - Python基础4 迭代器、装饰器、软件开发规范
Python之路,Day4 - Python基础4 (new版) 本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1. ...
- Python基础day4 函数对象、生成器 、装饰器、迭代器、闭包函数
一.函数对象 正确理解 Python函数,能够帮助我们更好地理解 Python 装饰器.匿名函数(lambda).函数式编程等高阶技术. 函数(Function)作为程序语言中不可或缺的一部分,太稀松 ...
- Python基础4 迭代器,生成器,装饰器,Json和pickle 数据序列化
本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1.列表生成式,迭代器&生成器 列表生成式 孩子,我现在有个需 ...
- Python基础 day4 迭代器生成器 装饰器 Json pickle 数据序列化 软件目录结构规范 作业:ATM项目开发...
本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 列表生成器 1.列表生成式,迭代器&生成器 列表生成式 孩子, ...
- Python基础之迭代器
一丧:别害怕,反正都会后悔的 认识迭代器一定要认识一个单词yield. yield是什么意思?在笔者认为它就是一个暂停并输出的意思,当再次调用时从暂停处继续执行代码到达下一个暂停并输出. 我们来看一个 ...
- Python基础(8)_迭代器、生成器、列表解析
一.迭代器 1.什么是迭代 1 重复 2 下次重复一定是基于上一次的结果而来 1 l=[1,2,3,4] 2 count=0 3 while count < len(l): 4 print(l[ ...
- python之路---迭代器和生成器
阅读目录 楔子 python中的for循环 可迭代协议 迭代器协议 为什么要有for循环 初识生成器 生成器函数 列表推导式和生成器表达式 本章小结 生成器相关的面试题 返回顶部 楔子 假如我现在有一 ...
最新文章
- web-yestem(伊思腾)-企业门户-数据库设计
- 一个硬核分布式数据库公司:pingcap
- watch监听vuex内部数据变化
- wds+mdt 分布式自动部署 操作系统
- Asp.Net微信发布菜单,出现“invalid sub button url domain hint”错误
- 【LeetCode笔记】剑指 Offer 57- II. 和为 s 的连续正数序列(Java、滑动窗口、二刷)
- python 查看变量_剖析python运算符is和==的区别
- Codeforces Round #321 (Div. 2) C. Kefa and Park dfs
- php如何反向排列数组,php中的sort()如何排列目录结构数组?
- 顶级开发人员最容易轻视的五大重要技能!
- 日访问量1万mysql_日访问量1万服务器
- opencv函数介绍—normalize
- Lytain:PCWin10纯净专业版重装与程序员的高效部署
- 音乐播放小窗口html,jQuery+html5迷你网页音乐播放器代码
- 最简单的WIN7内核PE系统的U盘安装方法+WIN7密码破解
- hp linux还原系统还原,酷越一键备份还原(惠普电脑系统还原)精简美化版...
- ffmpeg将图片和mp3合并成mp4
- RHEL Linux 8.3 通过 BIND 实现 DNS 基本功能
- Oracle EBS MRP模块之预测冲减
- 文字识别 SDK 11 给大家看一个手册
热门文章
- linux wamp,常见的WAMP集成环境
- 离散时间傅里叶变换(DTFT)与离散傅里叶级数(DFS)
- raw的服务器镜像是什么系统,如何将Ceph Raw格式镜像转换成Qcow2格式并上传云平台创建云主机...
- 【数据挖掘实操】用文本挖掘剖析近5万首《全唐诗》
- Python添加flac文件标签并实现wav转flac
- 凉凉!Tumblr 或被 300 万贱卖
- Vue · 导航守卫:beforeRouteEnter、beforeRouteUpdate、beforeRouteLeave
- js练习:模拟京东快递单号查询
- 积分上限函数的导数例题 笔记
- ice helloworld java_安装ice-3.4.0,并运行demo里的hello world例子,java