python可迭代对象,迭代器,生成器
容器是一系列元素的集合,str、list、set、dict、file、sockets对象都可以看作是容器,容器都可以被迭代(用在for,while等语句中),因此他们被称为可迭代对象。
可迭代对象实现了__iter__方法,该方法返回一个迭代器对象。
迭代器持有一个内部状态的字段,用于记录下次迭代返回值,它实现了__next__和__iter__方法,迭代器不会一次性把所有元素加载到内存,而是需要的时候才生成返回结果。
生成器是一种特殊的迭代器,它的返回值不是通过return而是用yield。
一,迭代器与可迭代对象
迭代器:是访问数据集合内元素的一种方式,一般用来遍历数据,但是他不能像列表一样使用下标来获取数据,也就是说迭代器是不能返回的。
Iterator:迭代器对象,必须要实现next魔法函数
Iterable:可迭代对象,继承Iterator,必须要实现iter魔法函数
from collections import Iterable,Iterator
a = [1,2,3]
print(isinstance(a,Iterator))
print(isinstance(a,Iterable))
上面的例子中a是一个列表,也是一个可迭代对象,那么如何才能让这个a变成迭代器呢?使用iter()即可。
from collections import Iterable,Iterator
a = [1,2,3]
a = iter(a)
print(isinstance(a,Iterator))
print(isinstance(a,Iterable))
print(next(a))
print('----')
for x in a:print(x)
可以看到现在a是可迭代对象又是一个迭代器,说明列表a中有iter方法,该方法返回的是迭代器,这个时候使用next就可以获取a的下一个值,但是要记住迭代器中的数值只能被获取一次。
梳理迭代器(Iterator)与可迭代对象(Iterable)的区别:
可迭代对象:继承迭代器对象,可以用for循环(说明实现了iter方法)
迭代器对象:可以用next获取下一个值(说明实现了next方法),但是每个值只能获取一次,单纯的迭代器没有实现iter魔法函数,所以不能使用for循环
只要可以用作for循环的都是可迭代对象
只要可以用next()函数的都是迭代器对象
列表,字典,字符串是可迭代对象但是不是迭代器对象,如果想变成迭代器对象可以使用iter()进行转换
Python的for循环本质上是使用next()进行不断调用,for循环的是可迭代对象,可迭代对象中有iter魔法函数,可迭代对象继承迭代器对象,迭代器对象中有next魔法函数
一般由可迭代对象变迭代器对象
二,可迭代对象
可迭代对象每次使用for循环一个数组的时候,本质上会从类中尝试调用iter魔法函数,如果类中有iter魔法函数的话,会优先调用iter魔法函数,当然这里切记iter方法必须要返回一个可以迭代的对象,不然就会报错。
如果没有定义iter魔法函数的话,会创建一个默认的迭代器,该迭代器调用getitem魔法函数,如果你没有定义iter和getitem两个魔法函数的话,该类型就不是可迭代对象,就会报错。
class s:def __init__(self,x):self.x = xdef __iter__(self):return iter(self.x)# 这里必须要返回一个可以迭代的对象# def __getitem__(self, item):# return self.x[item]
# iter和getitem其中必须要实现一个
a = s('123')
# 这里的a就是可迭代对象
# 这里不能调用next(a)方法,因为没有定义
for x in a:print(x)
三,迭代器
一开始提起,iter搭配Iterable做可迭代对象,next搭配Iterator做迭代器。next()接受一个迭代器对象,作用是获取迭代器对象的下一个值,迭代器是用来做迭代的,只会在需要的时候产生数据。
和可迭代对象不同,可迭代对象一开始是把所有的列表放在一个变量中,然后用getitem方法不断的返回数值,getitem中的item就是索引值。
但是next方法并没有索引值,所以需要自己维护一个索引值,方便获取下一个变量的位置。
class s:def __init__(self,x):self.x = x# 获取传入的对象self.index = 0# 维护索引值def __next__(self):try:result = self.x[self.index]# 获取传入对象的值except IndexError:# 如果索引值错误raise StopIteration# 抛出停止迭代self.index += 1# 索引值+1,用来获取传入对象的下一个值return result# 返回传入对象的值a = s([1,2,3])
print(next(a))
print('----------')
for x in a:
#类中并没有iter或者getitem魔法函数,不能用for循环,会报错print(x)
上面一个就是完整的迭代器对象,他是根据自身的索引值来获取传入对象的下一个值,并不是像可迭代对象直接把传入对象读取到内存中,所以对于一些很大的文件读取的时候,可以一行一行的读取内容,而不是把文件的所有内容读取到内存中。
这个类是迭代器对象,那么如何才能让他能够使用for循环呢?那就让他变成可迭代对象,只需要在类中加上iter魔法函数即可。
class s:def __init__(self,x):self.x = x# 获取传入的对象self.index = 0# 维护索引值def __next__(self):try:result = self.x[self.index]# 获取传入对象的值except IndexError:# 如果索引值错误raise StopIteration# 抛出停止迭代self.index += 1# 索引值+1,用来获取传入对象的下一个值return result# 返回传入对象的值def __iter__(self):return self
a = s([1,2,3])
print(next(a))
print('----------')
for x in a:print(x)
根据上面的代码提示,得到规律:
iter让类变成可迭代对象,next让类变成迭代器(要维护索引值)。
可迭代对象可以用for循环,迭代器可以用next获取下一个值。
迭代器如果想要变成可迭代对象用for循环,就要在迭代器内部加上iter魔法函数
可迭代对象如果想要能用next魔法函数,使用自身类中的iter()方法即可变成迭代器对象
class s:def __init__(self,x):self.x = xself.index = 0def __next__(self):try:result = self.x[self.index]except IndexError:raise StopIterationself.index += 1return resultclass b:def __init__(self,x):self.x = xdef __iter__(self):return s(self.x)
a = b([1,2,3])for x in a:print(x)
这个时候是不能再用next方法了,应为类b是一个可迭代对象,并非迭代器,这个时候不能用next方法,但是可以让类b继承类s,这样就能用next()方法获取下一个值,但是你的类b中要存在索引值,不然会报错,如下代码:
class s:def __init__(self,x):self.x = x# 获取传入的对象self.index = 0# 维护索引值def __next__(self):try:result = self.x[self.index]# 获取传入对象的值except IndexError:# 如果索引值错误raise StopIteration# 抛出停止迭代self.index += 1# 索引值+1,用来获取传入对象的下一个值return result# 返回传入对象的值# def __iter__(self):# return self
class b(s):def __init__(self,x):self.x = xself.index = 0def __iter__(self):return s(self.x)
a = b([1,2,3])print(next(a))
print(next(a))
可以这么做,但是没必要,因为这样违反了设计原则。
迭代器模式:提供一种方法顺序访问一个聚合对象中的各种元素,而又不暴露该对象的内部表示。
迭代器的设计模式是一种经典的设计模式,根据迭代器的特性(根据索引值读取下一个内容,不一次性读取大量数据到内存)不建议将next和iter都写在一个类中去实现。
新建一个迭代器,用迭代器维护索引值,返回根据索引值获取对象的数值,新建另一个可迭代对象,使用iter方法方便的循环迭代器的返回值。
四,生成器
生成器:函数中只要有yield,这个函数就会变成生成器。每次运行到yield的时候,函数会暂停,并且保存当前的运行状态,返回返回当前的数值,并在下一次执行next方法的时候,又从当前位置继续往下走。生成器其实是一种特殊的迭代器,不过这种迭代器更加优雅。它不需要再像上面的类一样写__iter__()和__next__()方法了,只需要一个yiled关键字。
def gen():yield 1# 返回一个对象,这个对象的值是1
def ret():return 1# 返回一个数字1
g = gen()
r = ret()
print(g,r)
print(next(g))
可以看到return是直接返回数值1,yield是返回的一个生成器对象,这个对象的值是1,使用next(g)或者for x in g:print x 都是可以获取到他的内容的,这个对象是在python编译字节码的时候就产生。
def gen():yield 1yield 11yield 111yield 1111yield 11111yield 111111# 返回一个对象,这个对象内的值是1和11,111...
def ret():return 1return 3# 第二个return是无效的
g = gen()
r = ret()
print(g,r)
print(next(g))
for x in g:print(x)
就像迭代器的特性一样,获取过一遍的值是没法再获取一次的,并且不是那种一次把所有的结果求出放在内存或者说不是一次性读取所有的内容放在内存中。
梳理特性:
使用yield的函数都是生成器函数
可以使用for循环获取值,也可以使用next获取生成器函数的值
例子1:迭代器和生成器实现斐波那契数列
class Fib:def __init__(self):self.prev = 0self.curr = 1def __iter__(self):return selfdef __next__(self):value = self.currself.curr += self.prevself.prev = valuereturn valuef = Fib()
for i in range(10):print(next(f))
# list(islice(f, 0, 10))def fib():prev, curr = 0, 1while True:yield currprev, curr = curr, curr + prevf = fib()
for i in range(10):print(next(f))
例子2:利用生成器产生batch的图片
import pandas as pd
import numpy as np
import cv2
def make_csv():images_path=np.array([str(i)+'.jpg' for i in np.random.randint(0,1000,18)]).reshape(-1,1)# print(images_path)label = np.random.randint(0,2,18).reshape(-1,1)# print(label)res = np.hstack((images_path,label))print(res)res_df=pd.DataFrame(res)res_df.to_csv('test.csv',index=False,header=None)def yield_batch():path='./test.csv'res=np.array(pd.read_csv(path))print('res.shape:',res.shape)datas=res[:,0]labels=res[:,-1]# print('datas:',datas)# print('labels:',labels)batch_size=8num_batch=len(datas)//batch_sizefor i in range(num_batch):imgs=[]train_datas = datas[batch_size*i:batch_size*(i+1)]train_lables = labels[batch_size*i:batch_size*(i+1)]for img_path in train_datas:img=1# img = cv2.imread(img_path)# img = cv2.resize(img,500)# img = img/255 #归一化处理imgs.append(img)yield np.array(imgs),np.array(train_lables)if __name__ == '__main__':# make_csv()epochs=2for i in range(epochs):print('======={} epoch==========='.format(i))for (data,label) in yield_batch():print('data:',data)print('label:',label)
python可迭代对象,迭代器,生成器相关推荐
- python可迭代对象 迭代器生成器_Python可迭代对象、迭代器和生成器
8.1 可迭代对象(Iterable) 大部分对象都是可迭代,只要实现了__iter__方法的对象就是可迭代的. __iter__方法会返回迭代器(iterator)本身,例如: >>&g ...
- python中迭代器和可迭代对象的区别_Python 可迭代对象迭代器生成器的区别
生成器是一种特殊的迭代器,生成器自动实现了"迭代器协议"(即__iter__和next方法),不需要再手动实现两方法. 首先从字面意思来解释Iterable和Iterator的区别 ...
- Python要想学得好,【容器/可迭代对象/迭代器/生成器】少不了,稳扎稳打学Python!
在刚开始学Python的时候,是不是经常会听到大佬们在讲容器.可迭代对象.迭代器.生成器.列表/集合/字典推导式等等众多概念,其实这不是大佬们没事就搁那扯专业术语来装B,而是这些东西都得要明白的,光知 ...
- 【Python】【容器 | 迭代对象 | 迭代器 | 生成器 | 生成器表达式 | 协程 | 期物 | 任务】...
Python 的 asyncio 类似于 C++ 的 Boost.Asio. 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知. Asyn ...
- Python练习 | Python 可迭代对象 迭代器
博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 在使用Python的过程中,很容易 ...
- 5.Python基础语法(函数/条件控制/循环语句/可迭代对象/迭代器/生成器/对象赋值/浅复制/深复制)
5.1 函数 在中学数学中我们知道y=f(x)代表着函数,x是自变量,y是函数f(x)的值.在程序中,自变量(x)可以代表任意的数据类型,可以是字符串.列表.字典.对象,可以是我们认为的任何东西. 示 ...
- python手写一个迭代器_搞清楚 Python 的迭代器、可迭代对象、生成器
很多伙伴对 Python 的迭代器.可迭代对象.生成器这几个概念有点搞不清楚,我来说说我的理解,希望对需要的朋友有所帮助. 1 迭代器协议 迭代器协议是核心,搞懂了这个,上面的几个概念也就很好理解了. ...
- 迭代器、可迭代对象与生成器
Iterator 与 gerater的作用是优化内存,当处理大文件,大数据的时候可以使用. 1. 对大列表进行优化 2. 大文件的优化 一.基本概念 迭代器: 一种数据类型,用来处理大数据 可迭代对象 ...
- python 函数可以作为容器对象的元素_11.Python初窥门径(函数名,可迭代对象,迭代器)...
python(函数名,可迭代对象,迭代器) 一.默认参数的坑 # 比较特殊,正常来说临时空间执行结束后应该删除,但在这里不是. def func(a,l=[]): l.append(a) return ...
最新文章
- Windows ninja
- matlab中大括号的使用 { },可以装4维的数据
- 【Java9】异常,finally,线程创建(卖票),线程同步(卖包子),线程练习
- java执行多次post请求_同样的post请求代码在Java和android中执行结果不同。
- Hibernate框架 五种查询方式
- windows无法移动修复此计算机,无法安装Windows 10移动创作者更新[修复] | MOS86
- vs 编译设置obj路径_编译、连接
- Java学习之路 之 注意篇
- pythonwhileelse,关于Python while语句的Else子句
- 项目管理ppt_干货:腾讯内部项目管理PPT!
- 建造者模式(生成器模式)
- 基于遗传算法的TSP算法(附代码)
- sts背景色设置眼睛保护色
- 天馈系统驻波比概念,产生的原因,问题现象
- python实战篇(七)---一寸照换背景
- VirtualBox安装Win7后提示无法启动,以及0xc0000225错误的解决
- 教您如何查看Win7详细系统版本号
- POSCMS 模块发布内容
- 保姆级给电脑分盘,和合并两个盘
- Android 精华 - 收藏全集 -
热门文章
- python网络编程内容_Python网络编程
- ICML2021 | Self-Tuning: 如何减少对标记数据的需求?
- AI Challenger 2018:细粒度用户评论情感分析冠军思路总结
- 论文浅尝 - WSDM20 | 基于弱监督及逐步推理的多关系知识图谱问答
- 超详细中文注释的GPT2新闻标题生成项目
- pytorch中的nan
- 关于话题演化关系网络生成的路线思考:从话题聚类到话题网络展示
- “知识图谱+”系列:知识图谱+强化学习
- MySQL-Front的安装简介
- [poj3261]Milk Patterns