python之生产者消费者模型

生产者消费者模型作用于：
1.爬虫的时候
2.分布式操作：celery
其本质：就是让生产数据和消费数据的效率达到平衡并且最大化的效率

为什么要使用生产者消费者模型？
在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入了生产者与消费者模型。让它们之间可以不停的生产和消费。

什么时候用这个模型？
程序中出现明显的两类任务，一类任务是负责生产，另外一类任务是负责处理生产的数据的（如爬虫）

用该模型的好处？
1、实现了生产者与消费者的解耦和

2、平衡了生产力与消费力，就是生产者一直不停的生产，消费者可以不停的消费，因为二者不再是直接沟通的，而是跟队列沟通的。

from multiprocessing import Queue
from multiprocessing import Process
import time
import randomdef consumer(q,name):  # 消费者:通常取到某些数据之后还要进行某些操作while True:food = q.get()if food:print("%s吃了%s" % (name, food))else:breakdef producer(q,name,food):  # 生产者：通常在数据之前需要通过某些代码来获取数据for i in range(10):foodi = "%s%s" % (food,i)print("%s生产了%s" % (name,foodi))# time.sleep(random.randint(1,3))q.put(foodi)#q.put(None)if __name__ == "__main__":q = Queue()p1 = Process(target=producer,args=(q,'大壮','泪水'))c1 = Process(target=consumer,args=(q,'alex'))c1.start()p1.start()p1.join()大壮生产了泪水0
大壮生产了泪水1
大壮生产了泪水2
大壮生产了泪水3
alex吃了泪水0
alex吃了泪水1
alex吃了泪水2
大壮生产了泪水4
大壮生产了泪水5
alex吃了泪水3
alex吃了泪水4
大壮生产了泪水6
alex吃了泪水5
大壮生产了泪水7
大壮生产了泪水8
大壮生产了泪水9
alex吃了泪水6
alex吃了泪水7
alex吃了泪水8
alex吃了泪水9

现在确实让生产者不停的生产，消费者不断的消费。但此时有一个问题就是主进程没有结束。原因是：生产者p1生产完后就结束了，但是消费者c1,在q.get()取空之后，就一直在原地等待。解决这个问题无非就让生产者在生产完毕后，就再往队列中发送一个结束信号，这样消费者接收到结束信号后就可以跳出死循环。修改如下：

from multiprocessing import Queue
from multiprocessing import Process
import time
import randomdef consumer(q,name):  # 消费者:通常取到某些数据之后还要进行某些操作while True:food = q.get()if food:print("%s吃了%s" % (name, food))else:breakdef producer(q,name,food):  # 生产者：通常在数据之前需要通过某些代码来获取数据for i in range(10):foodi = "%s%s" % (food,i)print("%s生产了%s" % (name,foodi))# time.sleep(random.randint(1,3))q.put(foodi)q.put(None)  #修改了这里if __name__ == "__main__":q = Queue()p1 = Process(target=producer,args=(q,'大壮','泪水'))c1 = Process(target=consumer,args=(q,'alex'))c1.start()p1.start()p1.join()

python之生产者消费者模型相关推荐

（python）生产者消费者模型
生产者消费者模型当中有两大类重要的角色,一个是生产者(负责造数据的任务),另一个是消费者(接收造出来的数据进行进一步的操作). 为什么要使用生产者消费者模型? 在并发编程中,如果生产者处理速度很快,而 ...
Python之路(第三十八篇) 并发编程：进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型...
一.进程锁(同步锁/互斥锁) 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,就是加锁处理. 例 ...
python多线程实现生产者消费者_用Python实现多线程“生产者-消费者”模型的简单例子...
用 Python 实现多线程"生产者 - 消费者"模型的简单例子生产者消费者问题是一个著名的线程同步问题, 该问题描述如下: 有一个生产者在生产产品, 这些产品将提供给若干个消费 ...
python生产教程_python入门教程12-09 （python语法入门之生产者消费者模型）
Python中的生产者消费者模型,在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题,是本章的重点内容,下面我们一起来看看吧. 生产者消费者模型在并发编程中使用生产者和消费者模式能够解决绝大 ...
Python并行编程(四)：多线程同步之condition(条件变量)实现带有缓冲区的生产者-消费者模型...
什么是Condtion? 所谓condition条件变量,即这种机制是在满足了特定的条件后,线程才可以访问相关的数据. 这种同步机制就是一个线程等待特定的条件,另一个线程通知它条件已经发生.一旦条件发 ...
Python 生产者消费者模型
Python 生产者消费者模型文章目录 Python 生产者消费者模型生产者消费者模型介绍生产者消费者模型实现函数yield 方式多进程方式实现一. 实现二. 多线程方式生产者消费者模型 ...
python 全栈开发，Day39(进程同步控制(锁,信号量,事件),进程间通信(队列,生产者消费者模型))...
昨日内容回顾 python中启动子进程并发编程并发 :多段程序看起来是同时运行的 ftp 网盘不支持并发 socketserver 多进程并发异步两个进程分别做不同的事情创建新进程 j ...
Python网络爬虫3 - 生产者消费者模型爬取某金融网站数据
博客首发于www.litreily.top 应一位金融圈的朋友所托,帮忙写个爬虫,帮他爬取中国期货行业协议网站中所有金融机构的从业人员信息.网站数据的获取本身比较简单,但是为了学习一些新的爬虫方法和技 ...
python 生产消费者_python之生产者消费者模型实现详解
代码及注释如下 #Auther Bob #--*--conding:utf-8 --*-- #生产者消费者模型,这里的例子是这样的,有一个厨师在做包子,有一个顾客在吃包子,有一个服务员在储存包子,这个 ...

python之生产者消费者模型

python之生产者消费者模型

python之生产者消费者模型相关推荐

最新文章

热门文章