from multiprocessing import Process,Queue
import time,random,osdef procducer(q):for i in range(10):res='包子%s' %itime.sleep(0.5)q.put(res)print('%s 生产了 %s' %(os.getpid(),res))def consumer(q):while True:res=q.get()if res is None:breakprint('%s 吃 %s' %(os.getpid(),res))time.sleep(random.randint(2,3))if __name__ == '__main__':q=Queue()p=Process(target=procducer,args=(q,))c=Process(target=consumer,args=(q,))p.start()c.start()print('主')

from multiprocessing import Process,Queue
import time,random,osdef procducer(q):for i in range(10):res='包子%s' %itime.sleep(0.5)q.put(res)print('%s 生产了 %s' %(os.getpid(),res))def consumer(q):while True:res=q.get()if res is None:breakprint('%s 吃 %s' %(os.getpid(),res))time.sleep(random.randint(2,3))if __name__ == '__main__':q=Queue()p=Process(target=procducer,args=(q,))c=Process(target=consumer,args=(q,))p.start()c.start()p.join()q.put(None)print('主')

举一个小栗子，（寄信）　1、你把信写好——相当于生产者制造数据2、你把信放入邮筒——相当于生产者把数据放入缓冲区3、邮递员把信从邮筒取出——相当于消费者把数据取出缓冲区4、邮递员把信拿去邮局做相应的处理——相当于消费者处理数据优势
缓冲区作用：
1、解耦
假设生产者和消费者分别是两个类。如果让生产者直接调用消费者的某个方法，那么生产者对于消费者就会产生依赖（也就是耦合）。将来如果消费者的代码发生变化，可能会影响到生产者。而如果两者都依赖于某个缓冲区，两者之间不直接依赖，耦合也就相应降低了。再举个小栗子
如果不使用邮筒（也就是缓冲区），你必须得把信直接交给邮递员。有同学会说，直接给邮递员不是挺简单的嘛？其实不简单，你必须得认识谁是邮递员，才能把信给他（光凭身上穿的制服，万一有人假冒，就惨了）。这就产生和你和邮递员之间的依赖（相当于生产者和消费者的强 耦合）。万一哪天邮递员换人了，你还要重新认识一下（相当于消费者变化导致修改生产者代码）。而邮筒相对来说比较固定，你依赖它的成本就比较低（相当于和缓冲区之间的弱 耦合）。2：支持并发
生产者直接调用消费者的某个方法，还有另一个弊端。由于函数调用是同步的（或者叫阻塞的），在消费者的方法没有返回之前，生产者只能一直等着
而使用这个模型，生产者把制造出来的数据只需要放在缓冲区即可，不需要等待消费者来取再举个小栗子
从寄信的例子来看。如果没有邮筒，你得拿着信傻站在路口等邮递员过来收（相当于生产者阻塞）；又或者邮递员得挨家挨户问，谁要寄信（相当于消费者轮询）。不管是哪种方法，都挺耗时间的3：支持忙闲不均
缓冲区还有另一个好处。如果制造数据的速度时快时慢，缓冲区的好处就体现出来了。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。再举个小栗子
假设邮递员一次只能带走1000封信。万一某次碰上情人节送贺卡，需要寄出去的信超过1000封，这时候邮筒这个缓冲区就派上用场了。邮递员把来不及带走的信暂存在邮筒中，等下次过来时再拿走。

from multiprocessing import Process,Queue
import time,random,osdef procducer(q):for i in range(10):res='包子%s' %itime.sleep(0.5)q.put(res)print('%s 生产了 %s' %(os.getpid(),res))def consumer(q):while True:res=q.get()if res is None:breakprint('%s 吃 %s' %(os.getpid(),res))time.sleep(random.randint(2,3))if __name__ == '__main__':q=Queue()p=Process(target=procducer,args=(q,))c=Process(target=consumer,args=(q,))p.start()c.start()p.join()q.put(None)print('主')

from multiprocessing import Process,Queue
import time
import random
import os
def producer(name,q):for i in range(10):res='%s%s' %(name,i)time.sleep(random.randint(1, 3))q.put(res)print('%s生产了%s' %(os.getpid(),res))
def consumer(name,q):while True:res=q.get()if not res:breakprint('%s吃了%s' %(name,res))
if __name__=='__main__':q=Queue()p1=Process(target=producer,args=('巧克力',q))p2=Process(target=producer,args=('甜甜圈',q))p3=Process(target=producer, args=('奶油蛋糕',q))c1=Process(target=consumer,args=('alex',q))c2=Process(target=consumer,args=('egon',q))_p=[p1,p2,p3,c1,c2]for p in _p:p.start()p1.join()p2.join()p3.join()'''保证生产程序结束后，再发送结束信号，发送数量和消费者数量一致'''q.put(None)q.put(None)

天啊噜

from multiprocessing import Process,JoinableQueue
import time
import random
def producer(name,food,q):for i in range(10):res='%s%s' %(food,i)time.sleep(random.randint(1, 3))q.put(res)print('%s生产了%s' %(name,res))q.join()  #阻塞生产者进程，保证此进程结束时消费者进程已处理完其产生的数据
def consumer(name,q):while True:res=q.get()if not res:breakprint('%s吃了%s' %(name,res))q.task_done()  #向q.join()发送一次信号,证明一个数据已经被取走了
if __name__=='__main__':q=JoinableQueue()p1=Process(target=producer,args=(1,'巧克力',q))p2=Process(target=producer,args=(2,'奶油蛋糕',q))p3 = Process(target=producer, args=(3,'冰糖葫芦', q))c1=Process(target=consumer,args=('lishi',q))c2=Process(target=consumer,args=('jassin',q))'''守护进程保证主进程结束时，守护进程也立即结束'''c1.daemon=Truec2.daemon=True_p=[p1,p2,p3,c1,c2]for p in _p:p.start()p1.join()p2.join()p3.join()

import requests
from concurrent.futures import ThreadPoolExecutor（线程池）,ProcessPoolExecutor（进程池）
from threading import current_thread
import time
import osdef get(url):  # 下载print('%s GET %s' %(current_thread().getName(),url))response=requests.get(url)time.sleep(3)if response.status_code == 200:   # 固定，=200表示下载完成return {'url':url,'text':response.text}def parse(obj):  # 解析res=obj.result()print('[%s] <%s> (%s)' % (current_thread().getName(), res['url'],len(res['text'])))if __name__ == '__main__':urls = ['https://www.python.org','https://www.baidu.com','https://www.jd.com','https://www.tmall.com',]t=ThreadPoolExecutor(2)for url in urls:t.submit(get,url).add_done_callback(parse) t.shutdown(wait=True)print('主',os.getpid())

import requests
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time
import osdef get(url):print('%s GET %s' %(os.getpid(),url))response=requests.get(url)time.sleep(3)if response.status_code == 200:return {'url':url,'text':response.text}def parse(obj):res=obj.result()print('[%s] <%s> (%s)' % (os.getpid(), res['url'],len(res['text'])))if __name__ == '__main__':urls = ['https://www.python.org','https://www.baidu.com','https://www.jd.com','https://www.tmall.com',]t=ProcessPoolExecutor(2)for url in urls:t.submit(get,url).add_done_callback(parse)t.shutdown(wait=True)print('主',os.getpid())