Python进程池Pool、进程池通信

前言

这几年一直在it行业里摸爬滚打，一路走来，不少总结了一些python行业里的高频面试，看到大部分初入行的新鲜血液，还在为各样的面试题答案或收录有各种困难问题

于是乎，我自己开发了一款面试宝典，希望能帮到大家，也希望有更多的Python新人真正加入从事到这个行业里，让python火不只是停留在广告上。

微信小程序搜索：Python面试宝典

或可关注原创个人博客：https://lienze.tech

也可关注微信公众号，不定时发送各类有趣猎奇的技术文章：Python编程学习

进程池

当我们使用传统的Process来创建进程时，小规模进程量还OK，但是一旦需要成百上千的进程，可以通过构建进程池解决；池的真正的并发数量由CPU核数决定

在任务开启时，每个任务会到进程池中获取对应进程资源

如果没有可用进程，那么任务会被挂起等待，直到有新的进程资源去接管处理他

from multiprocessing import Pool
p = Pool(3,maxtasksperchild)
'''
maxtasksperchild: 指明一个进程同时可以执行的最大工作数
'''
# 创建一定个数的进程池
p.apply(func, args)
# 阻塞方式，调用函数及传入参数，下个进程阻塞直到上个进程结束
p.apply_async(func, args)
# 非阻塞方式，调用函数及传入参数，并发完成任务
p.close()
# 关闭进程池不在接收新的任务进入
p.join()
# 父进程等待全部子进程结束，必须在close函数之后
p.terminat()
# 直接关闭进程池并终止所有进程任务

获取进程池返回值

res = p.apply()     # 阻塞多进程执行函数返回值 即为任务函数的返回值
res = p.apply_async() # 非阻塞多进程执行函数返回值是一个结果对象
'''- res.get() 即可获得任务函数的返回值
'''
res = p.map(func, range(10)) # 进程池中的map函数类似普通map函数，将一个序列中的每个值作为参数传递到任务函数中，返回值也将是一个序列对象，用来保存每个进程任务返回的结果，该函数为阻塞直到结果出现
res = p.map_async() # 执行之后，为一个抽象任务队列，只有真正使用 res.get()获取值时，任务进程才会执行，并且为非阻塞方式运行

进程池代码示例

from multiprocessing import Pool,current_process
import time
import sys
def work(num):time.sleep(0.5)print('当前进程是:',current_process().name,':',num)return numdef main():p = Pool(3)print("开启进程")res = []for var in range(10):res.append(p.apply(func=work,args=(var,)))# res.append(p.apply_async(func=work,args=(var,)))p.close() #关闭进程池p.join()print(res) # apply # for var in res: # apply_async#    print(var.get(),end=' ')print('\nover')if __name__ == '__main__':main()

进程池加锁

本身的多进程apply函数已经是阻塞模式，所以加锁意义不大

当遇到apply_async函数时，由于此时为真正的异步，我们可能需要在进程池内进行锁操作

可以使用如下进行同步管理

from multiprocessing import Manager
lock  = Manager().Lock()
semphore = Manager().Semaphore()

进程池加锁

本身的多进程apply函数已经是阻塞模式，所以加锁意义不大

当遇到apply_async函数时，由于此时为真正的异步，我们可能需要在进程池内进行锁操作

可以使用如下进行同步管理

from multiprocessing import Manager
lock  = Manager().Lock()
semphore = Manager().Semaphore()