所谓异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了。至于被依赖的任务最终是否真正完成，依赖它的任务无法确定，所以它是不可靠的任务序列。

比如我去银行办理业务，可能会有两种方式：

第一种 ：选择排队等候；

第二种 ：选择取一个小纸条上面有我的号码，等到排到我这一号时由柜台的人通知我轮到我去办理业务了；

第一种：前者(排队等候)就是同步等待消息通知，也就是我要一直在等待银行办理业务情况；

第二种：后者(等待别人通知)就是异步等待消息通知。在异步消息处理中，等待消息通知者(在这个例子中就是等待办理业务的人)往往注册一个回调机制，在所等待的事件被触发时由触发机制(在这里是柜台的人)通过某种机制(在这里是写在小纸条上的号码，喊号)找到等待该事件的人。

例子

1.4.3、阻塞和非阻塞

阻塞和非阻塞这两个概念与程序(线程)等待消息通知(无所谓同步或者异步)时的状态有关。也就是说阻塞与非阻塞主要是程序(线程)等待消息通知时的状态角度来说的

继续上面的那个例子，不论是排队还是使用号码等待通知，如果在这个等待的过程中，等待者除了等待消息通知之外不能做其它的事情，那么该机制就是阻塞的，表现在程序中,也就是该程序一直阻塞在该函数调用处不能继续往下执行。

相反，有的人喜欢在银行办理这些业务的时候一边打打电话发发短信一边等待，这样的状态就是非阻塞的，因为他(等待者)没有阻塞在这个消息通知上，而是一边做自己的事情一边等待。

注意：同步非阻塞形式实际上是效率低下的，想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有。如果把打电话和观察排队的位置看成是程序的两个操作的话，这个程序需要在这两种不同的行为之间来回的切换，效率可想而知是低下的；而异步非阻塞形式却没有这样的问题，因为打电话是你(等待者)的事情，而通知你则是柜台(消息触发机制)的事情，程序没有在两种不同的操作中来回切换。

例子

1.5、同步/异步 与 阻塞/非阻塞

同步阻塞形式

效率最低。拿上面的例子来说，就是你专心排队，什么别的事都不做。

异步阻塞形式

如果在银行等待办理业务的人采用的是异步的方式去等待消息被触发(通知)，也就是领了一张小纸条，假如在这段时间里他不能离开银行做其它的事情，那么很显然，这个人被阻塞在了这个等待的操作上面；

异步操作是可以被阻塞住的，只不过它不是在处理消息时阻塞，而是在等待消息通知时被阻塞。

同步非阻塞形式

实际上是效率低下的。

想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有，如果把打电话和观察排队的位置看成是程序的两个操作的话，这个程序需要在这两种不同的行为之间来回的切换，效率可想而知是低下的。

异步非阻塞形式

效率更高，

因为打电话是你(等待者)的事情，而通知你则是柜台(消息触发机制)的事情，程序没有在两种不同的操作中来回切换。

比如说，这个人突然发觉自己烟瘾犯了，需要出去抽根烟，于是他告诉大堂经理说，排到我这个号码的时候麻烦到外面通知我一下，那么他就没有被阻塞在这个等待的操作上面，自然这个就是异步+非阻塞的方式了。

很多人会把同步和阻塞混淆，是因为很多时候同步操作会以阻塞的形式表现出来，同样的，很多人也会把异步和非阻塞混淆，因为异步操作一般都不会在真正的IO操作处被阻塞。

1.6、进程的创建与结束

1.6.1、进程的创建

但凡是硬件，都需要有操作系统去管理，只要有操作系统，就有进程的概念，就需要有创建进程的方式，一些操作系统只为一个应用程序设计，比如微波炉中的控制器，一旦启动微波炉，所有的进程都已经存在。

而对于通用系统(跑很多应用程序)，需要有系统运行过程中创建或撤销进程的能力，主要分为4中形式创建新的进程：

1. 系统初始化(查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台并且只在需要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印)

2. 一个进程在运行过程中开启了子进程(如nginx开启多进程，os.fork,subprocess.Popen等)

3. 用户的交互式请求，而创建一个新进程(如用户双击暴风影音)

4. 一个批处理作业的初始化(只在大型机的批处理系统中应用)

无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。

1. 在UNIX中该系统调用是：fork，fork会创建一个与父进程一模一样的副本，二者有相同的存储映像、同样的环境字符串和同样的打开文件(在shell解释器进程中，执行一个命令就会创建一个子进程)2. 在windows中该系统调用是：CreateProcess，CreateProcess既处理进程的创建，也负责把正确的程序装入新进程。

关于创建子进程，UNIX和windows1.相同的是：进程创建后，父进程和子进程有各自不同的地址空间(多道技术要求物理层面实现进程之间内存的隔离)，任何一个进程的在其地址空间中的修改都不会影响到另外一个进程。2.不同的是：在UNIX中，子进程的初始地址空间是父进程的一个副本，提示：子进程和父进程是可以有只读的共享内存区的。但是对于windows系统来说，从一开始父进程与子进程的地址空间就是不同的。

创建进程

1.6.2、进程的结束

1. 正常退出(自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess)

2. 出错退出(自愿，python a.py中a.py不存在)

3. 严重错误(非自愿，执行非法指令，如引用不存在的内存，1/0等，可以捕捉异常，try...except...)

4. 被其他进程杀死(非自愿，如kill -9)

2、在python中的进程

上面已经了解了很多进程相关的理论知识，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实现创建进程这个功能，所以我们就需要借助python中强大的模块。

2.1、multiprocess模块

仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。

2.1.1、multiprocess.process模块介绍

process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。

参数介绍：

1. group参数未使用，值始终为None

2. target表示调用对象，即子进程要执行的任务

3. args表示调用对象的位置参数元组，args=(1,2,'egon',)

4. kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}

5. name为子进程的名称

方法介绍：

1. p.start()：启动进程，并调用该子进程中的p.run()

2. p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法

3. p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁

4. p.is_alive():如果p仍然运行，返回True 5 p.join([timeout]):主线程等待p终止(强调：是主线程处于等的状态，而p是处于运行的状态)。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

属性介绍：

1. p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置

2. p.name:进程的名称

3. p.pid：进程的pid

4. p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)

5. p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功(了解即可)

在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制)，在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来，import 的时候 ，就不会递归运行了。

在windows中使用process模块的注意事项

2.1.2、使用multiprocess.process模块开启子进程

在一个python进程中开启子进程，start方法和并发效果。

from multiprocessing importProcessimportosdeffunc(args,args2):print(123)print('子进程：',os.getpid()) #os.getpid()：查看当前进程的id号

print('查看父进程的id',os.getppid())print(args,args2)if __name__ == '__main__': #在windows里启用进程时需要添加这句话，linux上不需要

p = Process(target=func,args=('参数1','参数2')) #注册(把函数注册到进程对象里面),p是一个进程对象，还没有启动,args=(1234,)为传的参数(传参必须以元组的形式传参)，如果传一个参数后面必须要有逗号，多个参数不用再后面写逗号

p.start() #启动子进程，其余的代码都是父进程

print('父进程:',os.getpid()) #执行父进程的代码，os.getpid()：查看当前进程的id号

在python中使用process模块启动一个子进程

进程的生命周期：

主进程：代码从开头运行到结尾就结束

子进程：从start运行到子进程中的代码都结束

开启了子进程的主进程：主进程自己的代码如果长，等待自己的代码执行结束

子进程的执行时间长，主进程会在主进程代码执行完毕之后等待子进程执行完毕之后，主进程才结束

2.1.2.1：join方法

from multiprocessing importProcessimporttimedeffunc(arg1,args2):print('*'*arg1)

time.sleep(5)print('*'*args2)if __name__ == "__main__":

p= Process(target=func,args=(10,20)) #注册子进程

p.start() #启动子进程

print('不会收到join的影响，先输出这里') #父进程的程序

p.join() #感知一个子进程的结束(子进程结束后再向下执行)，将异步的程序改为同步

print('=======:运行完了')

join方法：感知子进程的结束

2.1.2.2：开启多个子进程

方法一：

from multiprocessing importProcessimporttimedeffunc(arg1,args2):print('*'*arg1)

time.sleep(5)print('*'*args2)if __name__ == "__main__":

p= Process(target=func,args=(10,20)) #注册子进程

p.start() #启动子进程

p1 = Process(target=func,args=(10,20)) #注册子进程

p1.start() #启动子进程

p2 = Process(target=func,args=(10,20)) #注册子进程

p2.start() #启动子进程

说明：使用此方法启动多进程会有很多重复的代码，了解即可！！

View Code

方法二：

from multiprocessing importProcessimporttimedeffunc(arg1,args2):print('*'*arg1)

time.sleep(5)print('*'*args2)if __name__ == "__main__":for i in range(10): #循环

p = Process(target=func,args=(10*i,20*i)) #注册子进程

p.start() #启动子进程

p.join() #这个方法不好，再循环中使用join方法表示第一次循环启动的进程结束后，在进入下一循环启动下一进程，了解即可

print('运行完了')

View Code

方法三：

from multiprocessing importProcessimporttimedeffunc(arg1,args2):print('*'*arg1)

time.sleep(5)print('*'*args2)if __name__ == "__main__":

p_lst= [] #定义空列表

for i in range(10): #循环

p = Process(target=func,args=(10*i,20*i)) #注册子进程

p_lst.append(p) #将每次循环注册的子进程追加写入到空列表中

p.start() #启动子进程

[p.join() for i in p_lst] #循环感知列表中的子进程的结束

print('运行完了') #列表中所有的子进程执行结束后执行这里

View Code

方法四：

from multiprocessing importProcessimporttimeimportosdeffunc(filename,content):

with open(filename,'w') as f: #以写的方式打开文件

f.write(content*10*'*') #写入内容

if __name__ == "__main__":

p_lst= [] #定义空列表

for i in range(5): #循环

p = Process(target=func,args=('info%s'%i,i)) #注册子进程及传参

p_lst.append(p) #将子进程写入空列表

p.start() #启动子进程

[p.join() for i in p_lst] #感知所有子进程的结束

print([i for i in os.walk(r'D:\my-python-scripts\my-python-all\day-20-多进程')]) #循环里所有的子进程结束后执行这句：打印指定目录下的内容

多进程往文件中写入内容

开启多进程的另一中方式：

importosfrom multiprocessing importProcessclassMyProcess(Process):def __init__(self,args1,args2): #传参使用

super().__init__() #传参使用

self.args1 = args1 #接收参数

self.args2 = args2 #接收参数

defrun(self):print(self.pid)print(self.name)print(self.args1) #调用传进来的参数

print(os.getpid())print('父进程的pid',os.getpid())if __name__ == "__main__":print('主进程的pid',os.getpid())

p1= MyProcess('参数1','参数2') #传参

p1.start()

p2= MyProcess('参数1','参数2') #传参

p2.start()#需要自定义类，并继承Process类#必须实现一个run()方法,run方法中是在子进程中执行的代码

通过继承Process类与run方法开启进程

2.1.3、多进程之间的数据隔离问题

from multiprocessing importProcessimportosdeffunc():global n #设置全局环境变量

n =0print('pid : %s' %os.getpid(),n) #打印这里的pid与n的值

if __name__ == "__main__":

n= 100p= Process(target=func) #注册子进程

p.start() #启动子进程

p.join() #感知子进程的结束

print(os.getpid(),n) #打印父进程的n的值

#结果为：#pid : 8940 0#7488 100#多进程之间如果不通过特殊的手段共享数据，那么多个进程之间的数据是完全隔离的

View Code

2.1.4、守护进程

会随着主进程的结束而结束。

主进程创建守护进程

其一：守护进程会在主进程代码执行结束后就终止

其二：守护进程内无法再开启子进程,否则抛出异常：AssertionError: daemonic processes are not allowed to have children

注意：进程之间是互相独立的，主进程代码运行结束，守护进程随即终止

1、守护进程的启动importosimporttimefrom multiprocessing importProcessclassMyprocess(Process):def __init__(self,person):

super().__init__()

self.person=persondefrun(self):print(os.getpid(),self.name)print('%s正在和女主播聊天' %self.person)

p=Myprocess('哪吒')

p.daemon=True #一定要在p.start()前设置,设置p为守护进程,禁止p创建子进程,并且父进程代码执行结束,p即终止运行

p.start()

time.sleep(10) #在sleep时查看进程id对应的进程ps -ef|grep id

print('主')2、主进程代码执行结束，守护进程也立即结束from multiprocessing importProcessdeffoo():print(123)

time.sleep(1)print("end123")defbar():print(456)

time.sleep(3)print("end456")

p1=Process(target=foo)

p2=Process(target=bar)

p1.daemon=True

p1.start()

p2.start()

time.sleep(0.1)print("main-------")#打印该行则主进程代码结束,则守护进程p1应该被终止.#可能会有p1任务执行的打印信息123,因为主进程打印main----时,p1也执行了,但是随即被终止.

守护进程

2.1.5、判断子进程是否存活

from multiprocessing importProcessimporttimedeffunc():while 1:

time.sleep(0.5)print('我还活着')deffunc2():print('in func2 start')

time.sleep(8)print('in func2 finished')if __name__ == "__main__":

p= Process(target=func) #func函数注册子进程

p.daemon = True #设置为守护进程，必须在启动子进程之前设置守护进程(守护进程随着主进程的代码执行完成并结束而结束)

p.start() #启动守护进程

p2 = Process(target=func2) #func2函数注册子进程

p2.start() #启动子进程

p2.terminate() #结束一个子进程(系统回收这个进程需要一定得时间)

print(p2.is_alive()) #检验一个进程是否活着，True为活着，False为死了，结果为True，表示p2子进程还活着

time.sleep(2)print(p2.terminate()) #检验一个进程是否活着，True为活着，False为死了，结果为None，表示p2子进程死了

print(p2.name) #获取当前进程得名字，结果为：Process-2

print(p2.pid) #获取p2进程得pid，结果为：15400

View Code

2.1.6、多进程实现socket聊天并发server端

importsocketfrom multiprocessing importProcessdefserve(conn):

ret= '你好'.encode('utf-8')

conn.send(ret)#发送消息

msg = conn.recv(1024).decode('utf-8') #接收消息

print(msg) #打印接收到的消息

conn.close() #关闭连接

if __name__ == "__main__":

sk= socket.socket() #实例化socket对象

sk.bind(('127.0.0.1',8080)) #绑定IP地址和端口

sk.listen() #监听

while 1: #死循环

conn,addr = sk.accept() #等待连接

p = Process(target=serve,args=(conn,)) #将serve函数注册子进程

p.start() #启动子进程

sk.close() #关闭socket

server端

importsocket

sk= socket.socket() #实例化socket对象

sk.connect(('127.0.0.1',8080)) #连接server端

msg= sk.recv(1024).decode('utf-8') #接收消息

print(msg) #打印接收到的消息

ret = input('>>:').encode('utf-8') #输入消息

sk.send(ret) #发送到server端

sk.close()#关闭连接

client端

3、关于子进程中有input报错问题

from multiprocessing importProcessdeffunc():

info= input('>:') #当子进程中有input时会报错，(即子进程中不能有input)

print(info)if __name__ == "__main__":

Process(target=func).start()

说明：注册子进程的函数中不可以有input，否则会报(EOFError: EOF when reading a line)错！！

4、进程同步

4.1、锁：multiprocessing.Lock

我们千方百计实现了程序的异步，让多个任务可以同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源，但是也给我们带来了新的问题。

当多个进程使用同一份数据资源的时候，就会引发数据安全或顺序混乱问题。

importosimporttimeimportrandomfrom multiprocessing importProcessdefwork(n):print('%s: %s is running' %(n,os.getpid()))

time.sleep(random.random())print('%s:%s is done' %(n,os.getpid()))if __name__ == '__main__':for i in range(3):

p=Process(target=work,args=(i,))

p.start()

多进程抢占输出资源

#由并发变成了串行,牺牲了运行效率,但避免了竞争

importosimporttimeimportrandomfrom multiprocessing importProcess,Lockdefwork(lock,n):

lock.acquire()#拿钥匙(拿了钥匙后别的进程就不可以启动了)

print('%s: %s is running' %(n, os.getpid()))

time.sleep(random.random())print('%s: %s is done' %(n, os.getpid()))

lock.release()#归还钥匙，此时彼得进程才可以拿钥匙进行他的操作

if __name__ == '__main__':

lock=Lock()for i in range(3):

p=Process(target=work,args=(lock,i))

p.start()

使用锁维护执行顺序

上面这种情况虽然使用加锁的形式实现了顺序的执行，但是程序又重新变成串行了，这样确实会浪费了时间，却保证了数据的安全。

接下来，我们以模拟抢票为例，来看看数据安全的重要性。

#文件db的内容为：{"count":1}#注意一定要用双引号，不然json无法识别#并发运行，效率高，但竞争写同一文件，数据写入错乱

from multiprocessing importProcess,Lockimporttime,json,randomdefsearch():

dic=json.load(open('db'))print('\033[43m剩余票数%s\033[0m' %dic['count'])defget():

dic=json.load(open('db'))

time.sleep(0.1) #模拟读数据的网络延迟

if dic['count'] >0:

dic['count']-=1time.sleep(0.2) #模拟写数据的网络延迟

json.dump(dic,open('db','w'))print('\033[43m购票成功\033[0m')deftask():

search()

get()if __name__ == '__main__':for i in range(100): #模拟并发100个客户端抢票

p=Process(target=task)

p.start()

多进程同时抢购余票

#文件db的内容为：{"count":5}#注意一定要用双引号，不然json无法识别#并发运行，效率高，但竞争写同一文件，数据写入错乱

from multiprocessing importProcess,Lockimporttime,json,randomdefsearch():

dic=json.load(open('db'))print('\033[43m剩余票数%s\033[0m' %dic['count'])defget():

dic=json.load(open('db'))

time.sleep(random.random())#模拟读数据的网络延迟

if dic['count'] >0:

dic['count']-=1time.sleep(random.random())#模拟写数据的网络延迟

json.dump(dic,open('db','w')) #将dic的新值写入到db文件

print('\033[32m购票成功\033[0m')else:print('\033[31m购票失败\033[0m')deftask(lock):

search()

lock.acquire()#拿钥匙，此时别的进程就那不到钥匙了

get() #执行购票函数

lock.release() #购票成功后还钥匙，还完钥匙后其他进程就可以拿钥匙去购票了

if __name__ == '__main__':

lock= Lock() #实例化一个锁对象

for i in range(100): #模拟并发100个客户端抢票

p=Process(target=task,args=(lock,)) #注册子进程，将锁传入子进程

p.start() #启动子进程

使用锁来保证数据安全

加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。 虽然可以用文件共享数据实现进程间通信，但问题是：

1.效率低(共享数据基于文件，而文件是硬盘上的数据)

2.需要自己加锁处理

因此我们最好找寻一种解决方案能够兼顾：

1、效率高(多个进程共享一块内存的数据)

2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制：队列和管道。 队列和管道都是将数据存放于内存中 队列又是基于(管道+锁)实现的，可以让我们从复杂的锁问题中解脱出来， 我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。

4.2、信号量：Semaphore(了解)

互斥锁同时只允许一个线程更改数据，而信号量Semaphore是同时允许一定数量的线程更改数据 。 假设商场里有4个迷你唱吧，所以同时可以进去4个人，如果来了第五个人就要在外面等待，等到有人出来才能再进去玩。 实现： 信号量同步基于内部计数器，每调用一次acquire()，计数器减1；每调用一次release()，计数器加1.当计数器为0时，acquire()调用被阻塞。这是迪科斯彻(Dijkstra)信号量概念P()和V()的Python实现。信号量同步机制适用于访问像服务器这样的有限资源。 信号量与进程池的概念很像，但是要区分开，信号量涉及到加锁的概念

from multiprocessing importProcessfrom multiprocessing importSemaphoreimporttimeimportrandomdefktv(i,sem):

sem.acquire()#获取钥匙

print('%s走进ktv'%i)

time.sleep(random.randint(1,5))print('%s走出ktv'%i)

sem.release()#还钥匙

if __name__ == "__main__":

sem= Semaphore(4) #实例化一个sem对象，传参指定钥匙的数量

for i in range(10):

p= Process(target=ktv,args=(i,sem))

p.start()

信号量例子

4.3、事件：Event(了解)

python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法 set、wait、clear。

事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为 False，那么当程序执行 event.wait 方法时就会阻塞，如果“Flag”值为True，那么event.wait 方法时便不再阻塞。

clear：将“Flag”设置为False set：将“Flag”设置为True

from multiprocessing importEvent#一个信号可以使所有的进程都进入阻塞状态，也可以控制所有进程接触阻塞#一个事件被创建后，默认是阻塞的状态

e= Event() #创建一个事件

print(e.is_set()) #查看一个事件的状态，默认被设置成阻塞，值默认为False

e.set() #将这个事件的状态改为True(即非阻塞)

print(e.is_set()) #结果为：True

e.wait() #依据e.is_set()的值来决定是否阻塞的，e.is_set()的值为False则表示阻塞，可以通过e.set()将e.is_set()的值设置为True则表示不阻塞

print(123456)

e.clear()#将这个事件的状态改为False

print(e.is_set()) #结果为：False

e.wait() #阻塞状态

print('*'*10)#set 和 clear

#分别用来修改一个事件的状态True或者False#is_set用来查看一个事件的状态#wait 是依据事件的状态来决定自己是否在wait处阻塞

#False：阻塞、True：不阻塞

事件的方法与使用

from multiprocessing importProcess, Eventimporttime, randomdefcar(e, n):whileTrue:if not e.is_set(): #进程刚开启，is_set()的值是Flase，模拟信号灯为红色

print('\033[31m红灯亮\033[0m，car%s等着' %n)

e.wait()#阻塞，等待is_set()的值变成True，模拟信号灯为绿色

print('\033[32m车%s 看见绿灯亮了\033[0m' %n)

time.sleep(random.randint(3, 6))if not e.is_set(): #如果is_set()的值是Flase，也就是红灯，仍然回到while语句开始

continue

print('车开远了,car', n)break

defpolice_car(e, n):whileTrue:if not e.is_set():#进程刚开启，is_set()的值是Flase，模拟信号灯为红色

print('\033[31m红灯亮\033[0m，car%s等着' %n)

e.wait(0.1) #阻塞，等待设置等待时间，等待0.1s之后没有等到绿灯就闯红灯走了

if note.is_set():print('\033[33m红灯,警车先走\033[0m，car %s' %n)else:print('\033[33;46m绿灯，警车走\033[0m，car %s' %n)break

deftraffic_lights(e, inverval):whileTrue:

time.sleep(inverval)ife.is_set():print('######', e.is_set())

e.clear()#---->将is_set()的值设置为False

else:

e.set()#---->将is_set()的值设置为True

print('***********',e.is_set())if __name__ == '__main__':

e=Event()for i in range(10):

p=Process(target=car,args=(e,i,)) #创建是个进程控制10辆车

p.start()for i in range(5):

p= Process(target=police_car, args=(e, i,)) #创建5个进程控制5辆警车

p.start()

t= Process(target=traffic_lights, args=(e, 10)) #创建一个进程控制红绿灯

t.start()print('============》')

红绿灯事件

五、进程间的通讯

5.1、队列

创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

Queue([maxsize])

创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管道中。

Queue的实例q具有以下方法：

q.get( [ block [ ,timeout ] ] )

返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。

q.get_nowait( )

同q.get(False)方法。

q.put(item [, block [,timeout ] ] )

将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。

q.qsize()

返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。

q.empty()

如果调用此方法时 q为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。

q.full()

如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的(参考q.empty()方法)。。

方法介绍

q.close()

关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get()操作上，关闭生产者中的队列不会导致get()方法返回错误。

q.cancel_join_thread()

不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

q.join_thread()

连接队列的后台线程。此方法用于在调用q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。

其他方法(了解)

代码实例

from multiprocessing importQueue

q= Queue(5)

q.put(1)

q.put(2)

q.put(3)

q.put(4)

q.put(5) #往队列中写数据

print(q.full()) #判断队列是否满了，满了则返回True，未满则返回False

print(q.get()) #获取队列中的数值

print(q.get())print(q.get())print(q.get())print(q.get())print(q.empty()) #判断队列是否是空的，为空则则返回True，不为空则返回False

try:

q.get_nowait()#以非阻塞的形式获取队列中的数值，如果队列里没有数值会报错：quque.Empty

except:print('队列已空')#队列的两种阻塞：1、队列有大小{q = Queue(5)}，写满了再往里写就会产生阻塞，直到队列里面的值有人取走之后才可以继续写入

#2、队列里面已经空了，再从队列里面取值会发生阻塞，直到队列中被写入数据，才可以取到值

for i in range(6):

q.put(i)

队列用法

from multiprocessing importQueue,Processdefproduce(q):

q.put('hello') #往队列中写入hello

defconsume(q):print('in consume:',q.get()) #从队列中获取hello

if __name__ == "__main__":

q= Queue() #实例化队列

p = Process(target=produce,args=(q,)) #注册子进程并将队列以参数的形式传入子进程

p.start() #启动子进程

c = Process(target=consume,args=(q,)) #注册子进程并将队列以参数的形式传入子进程

c.start() #启用子进程

进程间使用队列通讯

importosimporttimeimportmultiprocessing#向queue中输入数据的函数

definputQ(queue):

info= str(os.getpid()) + '(put):' +str(time.asctime())

queue.put(info)#向queue中输出数据的函数

defoutputQ(queue):

info=queue.get()print ('%s%s\033[32m%s\033[0m'%(str(os.getpid()), '(get):',info))#Main

if __name__ == '__main__':

multiprocessing.freeze_support()

record1= [] #store input processes

record2 = [] #store output processes

queue = multiprocessing.Queue(3)#输入进程

for i in range(10):

process= multiprocessing.Process(target=inputQ,args=(queue,))

process.start()

record1.append(process)#输出进程

for i in range(10):

process= multiprocessing.Process(target=outputQ,args=(queue,))

process.start()

record2.append(process)for p inrecord1:

p.join()for p inrecord2:

p.join()

批量生产数据放入队列在批量获取结果

5.2、生产者与消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(10):

time.sleep(random.randint(1,3))

res='包子%s' %i

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':

q=Queue()#生产者们:即厨师们

p1=Process(target=producer,args=(q,))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))#开始

p1.start()

c1.start()print('主')

基于队列实现生产者消费者模型

此时的问题是主进程永远不会结束，原因是：生产者p在生产完后就结束了，但是消费者c在取空了q之后，则一直处于死循环中且卡在q.get()这一步。

解决方式无非是让生产者在生产完毕后，往队列中再发一个结束信号，这样消费者在接收到结束信号后就可以break出死循环。

from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()if res is None:break #收到结束信号则结束

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(10):

time.sleep(random.randint(1,3))

res='包子%s' %i

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))

q.put(None)#发送结束信号

if __name__ == '__main__':

q=Queue()#生产者们:即厨师们

p1=Process(target=producer,args=(q,))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))#开始

p1.start()

c1.start()print('主')

改良版生产者与消费者模型

注意：结束信号None，不一定要由生产者发，主进程里同样可以发，但主进程需要等生产者结束后才应该发送该信号

from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()if res is None:break #收到结束信号则结束

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(q):for i in range(2):

time.sleep(random.randint(1,3))

res='包子%s' %i

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':

q=Queue()#生产者们:即厨师们

p1=Process(target=producer,args=(q,))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))#开始

p1.start()

c1.start()

p1.join()

q.put(None)#发送结束信号

print('主')

主进程在生产者生产完毕后发送结束信号None

但上述解决方式，在有多个生产者和多个消费者时，我们则需要用一个很low的方式去解决

from multiprocessing importProcess,Queueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()if res is None:break #收到结束信号则结束

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))defproducer(name,q):for i in range(2):

time.sleep(random.randint(1,3))

res='%s%s' %(name,i)

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))if __name__ == '__main__':

q=Queue()#生产者们:即厨师们

p1=Process(target=producer,args=('包子',q))

p2=Process(target=producer,args=('骨头',q))

p3=Process(target=producer,args=('泔水',q))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))

c2=Process(target=consumer,args=(q,))#开始

p1.start()

p2.start()

p3.start()

c1.start()

p1.join()#必须保证生产者全部生产完毕,才应该发送结束信号

p2.join()

p3.join()

q.put(None)#有几个消费者就应该发送几次结束信号None

q.put(None) #发送结束信号

print('主')

多个消费者的例子：有几个消费者就需要发送几次结束信号

5.3、JoinableQueue([maxsize])

创建可连接的共享进程队列。这就像是一个Queue对象，但队列允许项目的使用者通知生产者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的。

JoinableQueue的实例p除了与Queue对象相同的方法之外，还具有以下方法：

q.task_done()

使用者使用此方法发出信号，表示q.get()返回的项目已经被处理。如果调用此方法的次数大于从队列中删除的项目数量，将引发ValueError异常。

q.join()

生产者将使用此方法进行阻塞，直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。

下面的例子说明如何建立永远运行的进程，使用和处理队列上的项目。生产者将项目放入队列，并等待它们被处理。

方法介绍

from multiprocessing importProcess,JoinableQueueimporttime,random,osdefconsumer(q):whileTrue:

res=q.get()

time.sleep(random.randint(1,3))print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))

q.task_done()#向q.join()发送一次信号,证明一个数据已经被取走了

defproducer(name,q):for i in range(10):

time.sleep(random.randint(1,3))

res='%s%s' %(name,i)

q.put(res)print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))

q.join()#生产完毕，使用此方法进行阻塞，直到队列中所有项目均被处理。

if __name__ == '__main__':

q=JoinableQueue()#生产者们:即厨师们

p1=Process(target=producer,args=('包子',q))

p2=Process(target=producer,args=('骨头',q))

p3=Process(target=producer,args=('泔水',q))#消费者们:即吃货们

c1=Process(target=consumer,args=(q,))

c2=Process(target=consumer,args=(q,))

c1.daemon=True

c2.daemon=True#开始

p_l=[p1,p2,p3,c1,c2]for p inp_l:

p.start()

p1.join()

p2.join()

p3.join()print('主')#主进程等--->p1,p2,p3等---->c1,c2

#p1,p2,p3结束了,证明c1,c2肯定全都收完了p1,p2,p3发到队列的数据

#因而c1,c2也没有存在的价值了,不需要继续阻塞在进程中影响主进程了。应该随着主进程的结束而结束,所以设置成守护进程就可以了。

JoinableQueue队列实现消费之生产者模型

六、管道(了解即可)

#创建管道的类：

Pipe([duplex]):在进程之间创建一条管道，并返回元组(conn1,conn2),其中conn1，conn2表示管道两端的连接对象，强调一点：必须在产生Process对象之前产生管道#参数介绍：

dumplex:默认管道是全双工的，如果将duplex射成False，conn1只能用于接收，conn2只能用于发送。#主要方法：

conn1.recv():接收conn2.send(obj)发送的对象。如果没有消息可接收，recv方法会一直阻塞。如果连接的另外一端已经关闭，那么recv方法会抛出EOFError。

conn1.send(obj):通过连接发送对象。obj是与序列化兼容的任意对象#其他方法：

conn1.close():关闭连接。如果conn1被垃圾回收，将自动调用此方法

conn1.fileno():返回连接使用的整数文件描述符

conn1.poll([timeout]):如果连接上的数据可用，返回True。timeout指定等待的最长时限。如果省略此参数，方法将立即返回结果。如果将timeout射成None，操作将无限期地等待数据到达。

conn1.recv_bytes([maxlength]):接收c.send_bytes()方法发送的一条完整的字节消息。maxlength指定要接收的最大字节数。如果进入的消息，超过了这个最大值，将引发IOError异常，并且在连接上无法进行进一步读取。如果连接的另外一端已经关闭，再也不存在任何数据，将引发EOFError异常。

conn.send_bytes(buffer [, offset [, size]])：通过连接发送字节数据缓冲区，buffer是支持缓冲区接口的任意对象，offset是缓冲区中的字节偏移量，而size是要发送字节数。结果数据以单条消息的形式发出，然后调用c.recv_bytes()函数进行接收

conn1.recv_bytes_into(buffer [, offset]):接收一条完整的字节消息，并把它保存在buffer对象中，该对象支持可写入的缓冲区接口(即bytearray对象或类似的对象)。offset指定缓冲区中放置消息处的字节位移。返回值是收到的字节数。如果消息长度大于可用的缓冲区空间，将引发BufferTooShort异常。

介绍

#1、管道的基础使用

from multiprocessing importPipe

conn1,conn2= Pipe() #实例化一个管道

conn1.send('1234') #从管道这头写入数据

print(conn2.recv()) #从管道另一头读取数据

#2、管道还支持两个程序之间的数据传输

from multiprocessing importPipe,Processdeffunc(conn):

conn.send('Hello World') #子进程里的管道写入数据

if __name__ == "__main__":

conn1,conn2= Pipe() #实例化管道

p = Process(target=func,args=(conn1,)) #启动子进程并将管道的一端当参数传入子进程

p.start() #启动子进程

print('父进程：',conn2.recv()) #父进程使用管道的另一端获取管道的数据

#3、两个程序之间的循环打印与循环获取

from multiprocessing importPipe,Processdef func(conn): #子进程，接收管道的一端

while 1: #死循环

msg = conn.recv() #接收管道里的内容

if msg is None:break #如果管道里的内容为：None则break

print(msg) #每循环一次都打印管道里获取到的内容

if __name__ == "__main__":

conn1,conn2= Pipe() #实例化管道

p = Process(target=func,args=(conn1,)) #启动子进程，并将管道的一端传入子进程

p.start() #启动子进程

for i in range(20): #循环二十次

conn2.send('Hello World') #每循环一次往管道里写入一条Hello World

conn2.send(None) #循环都结束后往管道里写入None

管道的基础使用

应该特别注意管道端点的正确管理问题。如果是生产者或消费者中都没有使用管道的某个端点，就应将它关闭。这也说明了为何在生产者中关闭了管道的输出端，在消费者中关闭管道的输入端。如果忘记执行这些步骤，程序可能在消费者中的recv()操作上挂起。管道是由操作系统进行引用计数的，必须在所有进程中关闭管道后才能生成EOFError异常。因此，在生产者中关闭管道不会有任何效果，除非消费者也关闭了相同的管道端点。

#引发EOFError

from multiprocessing importPipe,Processdeffunc2012(conn1,conn2):

conn2.close()while 1:print(conn1.recv())if __name__ == "__main__":

conn1,conn2=Pipe()

Process(target=func2012,args=(conn1,conn2)).start()

conn1.close()for i in range(20):

conn2.send('Hello World')

conn2.close()#解决EOFError

from multiprocessing importPipe,Processdeffunc(conn1,conn2):

conn2.close()while 1:try:

msg=conn1.recv()print(msg)exceptEOFError:

conn1.close()break

if __name__ == "__main__":

conn1,conn2=Pipe()

Process(target=func,args=(conn1,conn2)).start()

conn1.close()for i in range(20):

conn2.send('Hello World')

conn2.close()

说明：#EOFError说明：管道里已经没有消息了，仍然recv时python回主动抛出这个异常

#本段疑问：为什么在主进程中将conn1关闭了不影响子进程recv？

#官方说明：传给多个进程的管道两端之间是不会互相影响的，

引发EOFError与用两端通讯实现解决EOFError报错问题

importtimeimportrandomfrom multiprocessing importProcess,Pipedef producer(con,pro,name,food): #生产者函数

con.close()for i in range(6): #循环6次

time.sleep(random.random())

f= '%s生产%s%s'%(name,food,i) #生产

print(f) #打印生产内容

pro.send(f) #将生产的内容写入管道

pro.close() #关闭管道

def consumer(con,pro,name): #消费者函数

pro.close()whileTrue:try:

food= con.recv() #food = 从管道里获取的内容

print('%s吃了%s'%(name,food)) #打印消费者内容

time.sleep(random.random())except EOFError: #如果出发EOFError

con.close() #就关闭管道

break #退出循环

if __name__ == "__main__":

con,pro= Pipe() #实例化管道

p = Process(target=producer,args=(con,pro,'ouyang','香蕉')) #生成生产者子进程。并将管道两端与生产者和生产的东西传入子进程

p.start() #启动生产者子进程

c = Process(target=consumer,args=(con,pro,'zhangsan')) #生成消费者子进程，并将管道两端与消费者传入子进程

c.start() #启动消费者子进程

c2 = Process(target=consumer,args=(con,pro,'lisi')) #生成消费者子进程，并将管道两端与消费者传入子进程

c2.start() #启动消费者子进程

con.close() #关闭管道

pro.close() #关闭管道

使用管道实现生产者与消费者模型

importtimeimportrandomfrom multiprocessing importProcess,Pipe,Lockdef producer(con,pro,name,food,lock): #生产者函数

con.close()for i in range(16): #循环16次

time.sleep(random.random())

f= '%s生产%s%s'%(name,food,i)print(f)

pro.send(f)#将生产的内容写入管道

pro.close()defconsumer(con,pro,name,lock):

pro.close()while True: #死循环

try:

lock.acquire()#加锁拿钥匙

food = con.recv() #从管道里获取内容

lock.release() #加锁还钥匙

print('%s吃了%s'%(name,food))

time.sleep(random.random())except EOFError: #如果出发EOFError

con.close() #则关闭管道

break #推出循环

if __name__ == "__main__":

con,pro= Pipe() #实例化管道

lock = Lock() #实例化锁

p = Process(target=producer,args=(con,pro,'ouyang','香蕉',lock)) #启用生产者子进程。并将管道两端，生产者，生产物。锁传入生产者子进程

p.start() #启用生产者子进程

c = Process(target=consumer,args=(con,pro,'zhangsan',lock)) #启用消费者子进程，并将管道两端，消费者，锁 传入消费者子进程

c.start() #启用消费者

c2 = Process(target=consumer,args=(con,pro,'lisi',lock)) #启用消费者子进程，并将管道两端，消费者，锁 传入消费者子进程

c2.start() #启用消费者

con.close() #关闭管道

pro.close() #关闭管道#加锁来控制操作管道的行为，来避免进程之间争抢数据造成的数据不安全现象#队列 进程之间的数据是安全的#队列的功能 = 管道 + 锁

多个消费者之间的竞争问题带来的数据不安全问题(加锁解决)

七、进程之间的数据共享(了解即可)

展望未来，基于消息传递的并发编程是大势所趋

即便是使用线程，推荐做法也是将程序设计为大量独立的线程集合，通过消息队列交换数据。

这样极大地减少了对使用锁定和其他同步手段的需求，还可以扩展到分布式系统中。

但进程间应该尽量避免通信，即便需要通信，也应该选择进程安全的工具来避免加锁带来的问题。

以后我们会尝试使用数据库来解决现在进程之间的数据共享问题。

进程间数据是独立的，可以借助于队列或管道实现通信，二者都是基于消息传递的

虽然进程间数据独立，但可以通过Manager实现数据共享，事实上Manager的功能远不止于此

A manager object returned by Manager() controls a server process which holds Python objectsandallows other processes to manipulate them using proxies.

A manager returned by Manager() will support types list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Valueand Array.

Manager模块介绍

#1、初识进程间的数据共享

from multiprocessing importManager,Processdefmain(dic):

dic['count'] -= 1

print(dic)if __name__ =='__main__':

m=Manager()

dic= m.dict({'count':100})

p_list=[]

p= Process(target=main,args=(dic,))

p.start()

p.join()print("主进程：",dic)#结果：

{'count': 99}

主进程： {'count': 99}#2、进阶

from multiprocessing importManager,Process,Lockdefmain(dic,l):

l.acquire()

dic['count'] -= 1l.release()if __name__ =='__main__':

m=Manager()

l=Lock()

dic= m.dict({'count':100})

p_list=[]for i in range(50):

p= Process(target=main,args=(dic,l))

p.start()

p_list.append(p)for i inp_list:i.join()print('主进程',dic) #结果：主进程 {'count': 50}

Manager模块的例子

八、进程池(重要)multiprocess.Pool模块

为什么要有进程池?进程池的概念。

在程序实际处理问题过程中，忙时会有成千上万的任务需要被执行，闲时可能只有零星任务。那么在成千上万个任务需要被执行的时候，我们就需要去创建成千上万个进程么？首先，创建进程需要消耗时间，销毁进程也需要消耗时间。第二即便开启了成千上万的进程，操作系统也不能让他们同时执行，这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程。那么我们要怎么做呢？

在这里，要给大家介绍一个进程池的概念，定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行。这样不会增加操作系统的调度难度，还节省了开闭进程的时间，也一定程度上能够实现并发效果。

更高级的进程池(python中没有)：

# n(下限) m(上限)

下线设置3个进程、上线20个进程，如果访问量增加了，三个进程处理不过来了就会一点一点增加进程，直到达到进程池设置的上线就不会再加了，如果用不到的太多的进程后会一点点的减少，直到底线

8.1、multiprocess.Pool模块

Pool([numprocess [,initializer [, initargs]]]):创建进程池1numprocess:要创建的进程数，如果省略，将默认使用cpu_count()的值2initializer：是每个工作进程启动时要执行的可调用对象，默认为None3 initargs：是要传给initializer的参数组

from multiprocessing importPooldeffunc(n):for i in range(10):print(n+1)if __name__ == "__main__":

pool= Pool(5) #五个进程

pool.map(func,range(100)) #100个任务

'''进程池：

pool.map(func,range(100))

上面这句话相当于进程的：

for i in range(100):

Process(target=func,args=(i,)).start()'''

进程池的基础使用之map方法

map方法说明：默认异步的执行任务，且自带close和join方法

importtimefrom multiprocessing importPool,Processdeffunc(n):for i in range(10):print(n+1)if __name__ == '__main__':

start=time.time()

pool= Pool(5) #进程池(5个进程)

pool.map(func,range(100)) #100个任务,map方法自带join方法，即所有子进程都执行完了才计算时间

t1 = time.time() - start #t1是进程池的时间

start =time.time()

p_list=[]for i in range(100):

p= Process(target=func,args=(i,))

p_list.append(p)

p.start()#启动100个子进程

for p inp_list:p.join()

t2= time.time() - start #t2是用子进程的运行的时间

print(t1,t2)#t1:为进程池的执行时间：0.37529754638671875#t2：为进程的执行时间：6.039071559906006

进程池与进程之间的效率对比

#1、进程池同时执行a任务与b任务

from multiprocessing importPooldeffunc(n):for i in range(10):print(n+1)deffunc2(n1):for i in range(5):print(n1+2)if __name__ == "__main__":

pool= Pool(5) #五个进程

pool.map(func,range(100)) #a任务，100个任务

pool.map(func2,range(50)) #b任务，50个任务

#2、map方法传参

from multiprocessing importPooldeffunc(n):for i in range(10):print(n[0])print(n[1])print(i)if __name__ == "__main__":

pool= Pool(5) #实例化进程池并指定五个进程

pool.map(func,[('ouyang','布道者技术社区')]) #这里传的参数必须是一个可迭代的类型#说明：map是自带join方法的

进程池的map方法同时执行a任务与b任务和进程map方法传参

importtimeimportosfrom multiprocessing importPooldeffunc(n):print('start func%s'%n,os.getpid())

time.sleep(1)print('end func%s'%n,os.getpid())if __name__ == '__main__':

p= Pool(5)for i in range(20):#p.apply(func,args=(i,)) #apply:同步执行多线程任务，即所有子进执行结束后主进程才结束

p.apply_async(func,args=(i,)) #apply_async:异步执行多线程，主进程执行结束就结束了，不等子进程了

p.close() #结束进程池接收任务

p.join() #感知进程池中的任务结束

进程池的同步执行与异步执行

#1、apply方法

from multiprocessing importPooldeffunc(i):return i*iif __name__ == '__main__':

p= Pool(5)for i in range(5):

res= p.apply(func,args=(i,)) #apply的结果就是func返回值

print(res)#2、apply_async方法

importtimefrom multiprocessing importPooldeffunc(i):

time.sleep(0.5)return i*iif __name__ == '__main__':

p= Pool(5)

res_l=[]for i in range(10):

res= p.apply_async(func,args=(i,))

res_l.append(res)for res in res_l:print(res.get()) #get阻塞等待结果，

#3、map方法

importtimefrom multiprocessing importPooldeffunc(i):

time.sleep(0.5)return i*iif __name__ == '__main__':

p= Pool(5)

res= p.map(func,range(10)) # print(res) #结果为：[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

进程池的返回值

importosfrom multiprocessing importPooldeffunc1(n):print('in func1',os.getpid()) #结果为：in func1 17000

return n*n #返回值为：100

def func2(nn): #这里的参数为：func1的返回值

print('in func2',os.getpid()) #结果为：in func2 3444

print(nn) #结果为：100

if __name__ == "__main__":print('主进程',os.getpid()) #结果为：主进程 3444

p = Pool(5)

p.apply_async(func1,args=(10,),callback=func2) #先去执行func1函数，callback(回调函数)：把func1的返回值当参数传给func2

p.close()

p.join()

进程池的回调函数

importsocketfrom multiprocessing importPooldefserver_sock(conn):

conn.send(b'hello') #首先发送hello

print(conn.recv(1024).decode('utf-8')) #接收消息

conn.close() #关闭连接

if __name__ == "__main__":

p= Pool(5) #启用五个进程

sk = socket.socket() #实例化socket对象

sk.bind(('127.0.0.1',8080)) #绑定地址与端口

sk.listen() #监听

while 1: #死循环

conn, addr = sk.accept() #允许链接

p.apply_async(server_sock,args=(conn,)) #异步启用子进程server_sock,并将conn当参数传给子进程

sk.close()

使用进程池实现socker server端并发

importsocket

sk=socket.socket()

sk.connect(('127.0.0.1',8080))

ret= sk.recv(1024).decode('utf-8')print(ret)

msg= input('>>>').encode('utf-8')

sk.send(msg)

sk.close()

socket client端

8.2、进程池的常用方法说明：

1、 p.apply(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。

'''需要强调的是：此操作并不会在所有池工作进程中并执行func函数。如果要通过不同参数并发地执行func函数，必须从不同线程调用p.apply()函数或者使用p.apply_async()'''

2、p.apply_async(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。

'''此方法的结果是AsyncResult类的实例，callback是可调用对象，接收输入参数。当func的结果变为可用时，将理解传递给callback。callback禁止执行任何阻塞操作，否则将接收其他异步操作中的结果。''' 、

3、p.close():关闭进程池，防止进一步操作。如果所有操作持续挂起，它们将在工作进程终止前完成

4、P.jion():等待所有工作进程退出。此方法只能在close()或teminate()之后调用

8.3、进程池的其他方法说明(了解即可)

1、 方法apply_async()和map_async()的返回值是AsyncResul的实例obj。实例具有以下方法

2、 obj.get():返回结果，如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发。

3、 obj.ready():如果调用完成，返回True

4、 obj.successful():如果调用完成且没有引发异常，返回True，如果在结果就绪之前调用此方法，引发异常

5、 obj.wait([timeout]):等待结果变为可用。

6、 obj.terminate()：立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收，将自动调用此函数