python全栈学习--day40()
上一章节内容汇总:
进程 multiprocess
Process ------ 进程 在python中创建一个进程的模块
start
daemon 守护进程
join 等待子进程执行结束
锁 Lock
acquire release
锁是一个同步控制的工具
如果同一时刻有多个进程同时执行一段代码,那么在内存中数据是不会发生冲突的。但是,如果涉及到文件,数据库机会发生资源冲突的问题。我们就需要用锁来把这段代码锁起来。任意一个进程执行了acquire之后,其他所有的进程都会在这里阻塞,等待一个release
信号量 semaphore
锁 + 计数器
set clear is set 控制对象的状态
wait 根据状态的不同执行效果也不同
状态是True ----> pass
状态是False ----> 阻塞
一般wait是和set clear 放在不同的进程中
set/clear 是负责控制状态
我可以在一个进程中控制另外一个或多个进程的运行情况。
IPC通信
队列 Queue
管道 PIPE
进程间通信——队列和管道(multiprocess.Queue、multiprocess.Pipe)
队列
from multiprocessing import Process,Queue
Queue([maxsize]) 创建共享的进程队列。 参数 :maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。 底层队列使用管道和锁定实现。
Queue([maxsize]) 创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。底层队列使用管道和锁定实现。另外,还需要运行支持线程以便队列中的数据传输到底层管道中。 Queue的实例q具有以下方法:q.get( [ block [ ,timeout ] ] ) 返回q中的一个项目。如果q为空,此方法将阻塞,直到队列中有项目可用为止。block用于控制阻塞行为,默认为True. 如果设置为False,将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间,用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用,将引发Queue.Empty异常。q.get_nowait( ) 同q.get(False)方法。q.put(item [, block [,timeout ] ] ) 将item放入队列。如果队列已满,此方法将阻塞至有空间可用为止。block控制阻塞行为,默认为True。如果设置为False,将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。q.qsize() 返回队列中目前项目的正确数量。此函数的结果并不可靠,因为在返回结果和在稍后程序中使用结果之间,队列中可能添加或删除了项目。在某些系统上,此方法可能引发NotImplementedError异常。q.empty() 如果调用此方法时 q为空,返回True。如果其他进程或线程正在往队列中添加项目,结果是不可靠的。也就是说,在返回和使用结果之间,队列中可能已经加入新的项目。q.full() 如果q已满,返回为True. 由于线程的存在,结果也可能是不可靠的(参考q.empty()方法)。。方法介绍
说明
队列可以在创建的时候指定一个容量
如果在程序运行的过程中,队列已经有了足够的数据,在put就会发生阻塞。
如果队列为空,在get就会发生阻塞。内存------制定容量
判断队列是否为空
from multiprocessing import Process,Queue
q = Queue()
print(q.empty())
执行输出:True
如果队列已满,在增加加值的操作,会被阻塞,知道队列有空余的。
from multiprocessing import Process,Queue
q = Queue(10) #创建一个只能放10个value的队列
for i in range(10):q.put(i) #增加一个value
print(q.qsize()) #返回队列中目前的正确数量
print(q.full()) #如果q已满,返回为True
q.put(111) #在增加一个值
print(q.empty())
从结果中,可以看出,下面的操作q.put(111)之后的代码被阻塞了。
总结:
队列可以在创建的时候指定一个容量
如果在程序运行的过程中,队列已经有了足够的数据,在put就会发送阻塞
如果队列为空,在get就会发送阻塞
为什么要向队列的长度呢?是为了防止内存爆炸。
一个队列,不能无限制的存储。毕竟,内存是有限制的。
上面提到的put,get,full ,empty都是不准的。
因为在返回结果和在稍后程序中使用结果之间,队列中可能添加或删除了项目。在某些系统上,此方法可能引发NotImplementedError异常。
如果其他进程或线程正在往队列中添加项目,可能是不可靠的。也就是说,在返回和使用结果之间,队列中可能已经加入新的项目。
import time
from multiprocessing import Process,Queue
def wahaha(q):print(q.get())q.put(2) #增加数字2if __name__ == '__main__':q = Queue()p = Process(target=wahaha,args=[q,])p.start()q.put(1) #增加数字1time.sleep(0.1)print(q.get())
先执行主进程的q.get(),在执行子进程的q.get()
在进程中使用队列可以完成双向通信
队列是进程安全的,内置了锁类保证队列中的每一个数据都不会被多个进程重复取
在同一个时刻,只能有一个进程来取值,它内部有一个锁的机制。那么另外一个进程就会被阻塞一会,但是阻塞的时间非常短队列能保证数据安全,同一个数据,不能被多个进程获取。
生产者消费者模型
解决数据供需不平衡的情况
from multiprocessing import Process,Queue
def producer(q,name,food):for i in range(5):print('{}生产了{}{}'.format(name,food,i))if __name__ == '__main__':q = Queue()Process(target=producer,args=[q,'四川','蚂蚁上树']).start()Process(target=producer,args=[q,'广东','龙虎斗']).start()
增加一个消费者
import time
import random
from multiprocessing import Process,Queue
def producer(q,name,food):for i in range(5):time.sleep(random.random()) #模拟生产时间print('{}生产了{}{}'.format(name,food,i))q.put('{}{}'.format(food,i)) #放入队列def consumer(q,name):for i in range(10):food = q.get() #获取队列time.sleep(random.random()) #模拟吃时间print('{}吃了{}'.format(name,food))if __name__ == '__main__':q = Queue()Process(target=producer,args=[q,'四川','麻婆豆腐']).start()Process(target=producer,args=[q,'广东','八宝冬瓜盅']).start()Process(target=consumer,args=[q,'John']).start()
注意:必须将消费者的range(10)修改为5,否则程序会卡住。为什么呢?因为队列已经是空的。在取机会阻塞这样才能解决供需平衡。
那么问题来了,如果一个消费者,吃的比较快呢?
在修改range值?太low 了,能者多劳嘛。不能使用q.empty(),他是不准确的。看下图,有可能一开始,队列就空了。
看下图的0.1更快
看下面的解决方案:
import time
import random
from multiprocessing import Process,Queue
def producer(q,name,food):for i in range(5):time.sleep(random.random()) #模拟生产时间print('{}生产了{}{}'.format(name,food,i))q.put('{}{}'.format(food,i)) #放入队列def consumer(q,name):for i in range(10):food = q.get() #获取队列time.sleep(random.random()) #模拟吃时间print('{}吃了{}'.format(name,food))if __name__ == '__main__':q = Queue()#创建队列对象,如果不提供maxsize,则队列数无限制p1 = Process(target=producer,args=[q,'四川','麻婆豆腐'])p2 = Process(target=producer,args=[q,'广东','八宝冬瓜盅'])p1.start() #启动进程p2.start() #启动进程Process(target=consumer,args=[q,'John']).start()Process(target=consumer, args=[q, 'jenny']).start()p1.join()p2.join()q.put('鲫鱼豆腐')q.put('大酱肘子')
为什么要有2个done ?因为有两个2消费者
为什么要有2个join ? 因为必须要等厨师做完菜才可以。
最后输出2个done,表示通知2个顾客,菜已经上完了,顾客要结账了。
2个消费者,都会执行break。通俗的来讲,亲,您一共消费了xx元,请付款!
上面的解决方案,代码太长了,有一个消费者,就得done一次。
下面介绍JoinableQueue
JoinableQueue([maxsize])
创建可连接的共享进程队列。这就像是一个Queue对象,但队列允许项目的使用者通知生产者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的。
JoinableQueue的实例p除了与Queue对象相同的方法之外,还具有以下方法:q.task_done() 使用者使用此方法发出信号,表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量,将引发ValueError异常。q.join() 生产者将使用此方法进行阻塞,直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。 下面的例子说明如何建立永远运行的进程,使用和处理队列上的项目。生产者将项目放入队列,并等待它们被处理。
JoinableQueue的实例p除了与Queue对象相同的方法之外,还具有以下方法:q.task_done() 使用者使用此方法发出信号,表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量,将引发ValueError异常。q.join() 生产者将使用此方法进行阻塞,直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。 下面的例子说明如何建立永远运行的进程,使用和处理队列上的项目。生产者将项目放入队列,并等待它们被处理。
JoinableQueue队列实现消费之生产者模型
转载于:https://www.cnblogs.com/haowen980/p/9036952.html
python全栈学习--day40()相关推荐
- python全栈要学什么_python全栈要学什么 python全栈学习路线
IT行业,技术要比学历.年龄.从业经验更为重要,技术水平直接决定就业薪资,想要学好python,首先要先了解精通Python语言基础.Python web开发.Python爬虫.Python数据分析这 ...
- (零基础)入门python学习四步骤,附上Python全栈学习路线大刚!
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:python学习教程 ( 想要学习Python?Pyt ...
- python全栈学习路线
人工智能时代,想要从事编程行业,最佳的学习语言是什么?当然是Python!Python入门简单.功能强大,已成为各大企业首选开发语言,也吸引了无数有志学子投身学习.下面是小编为您整理的关于python ...
- 流弊!《Python全栈学习手册》开放下载了
本次给大家分享一个质量非常高的<Python全栈学习手册>. 这份资料非常全面,从 Python 基础.到 web 开发.数据分析.机器学习.深度学习.金融量化统统 都有,该手册是 HTM ...
- python 全栈路线_python全栈要学什么 python全栈学习路线
IT行业,技术要比学历.年龄.从业经验更为重要,技术水平直接决定就业薪资,想要学好python,首先要先了解精通Python语言基础.Python web开发.Python爬虫.Python数据分析这 ...
- Python全栈学习day1
python 全栈开发之路 day1 本节内容 计算机发展介绍 计算机硬件组成 计算机基本原理 计算机 计算机(computer)俗称电脑,是一种用于高速计算的电子计算机器,可以进行数值计算,又可以进 ...
- python全栈学习--day3
一.基础数据类型 基础数据类型,有7种类型,存在即合理. 1.int 整数 主要是做运算的 .比如加减乘除,幂,取余 + - * / ** %... 2.bool 布尔值 判断真假以及作为条件变量 ...
- python全栈学习总结三:函数学习
一函数基本概念 1 函数定义 def 函数名(参数1,参数2,参数3,......): """ 功能: 参数1: 参数2: 参数3: ...... 返回值: " ...
- python全栈学习笔记
先说说那么多编程语言为什么学习python,1,"万能"容易 2,"不容易秃",哈哈哈! 定义变量 python的变量创建赋值三个部分 标识符 赋值符 值 py ...
最新文章
- SAP WM高阶之2-Step Picking
- C/C++语言参数传递----函数/方法 参数的指针引用传递
- Centos 安装Docker
- Windows添加启动项的两种方法
- 利用HttpOnly来防御xss攻击
- 网上书店动态网页设计
- java笔试记录(基础知识复习)
- DateWhale数据挖掘-纯小白
- vs213开发php,vs厂年度大作沛纳海213追针计时手表详解 - n厂手表
- pycharm:Updating Indices 解决办法
- iOS程序上架到appStore/已上线软件升级更新教程
- 事件研究法python代码
- if-else语句练习
- 我在windows10下,使用CMake gui 编译krita源码,CMake gui报错:LibMyPaint_DIR-NOTFOUND
- 10年研发总结和期许
- Spring学习之IOC容器(二)
- Laravel企业信息化管理平台
- stop slave mysql_mysql8 参考手册--STOP SLAVE语句
- pytorch实现 chatbot聊天机器人
- 无法连接到安全检查代理服务器 本地ip地址非法