concurrent.futures --- 启动并行任务（线程池）

concurrent.futures 模块提供异步执行可调用对象高层接口

而异步执行可以由 ThreadPoolExecutor 线程或由 ProcessPoolExecutor 使用单独的进程来实现。两者都是实现抽像类 Executor 定义的接口。

一、ThreadPoolExecutor 线程池

线程池执行器：ThreadPoolExecutor类
1. 快速导入：from concurrent.futures import ThreadPoolExecutor
如何使用：
1. 创建一个线程池对象：ThreadPoolExecutor(max_workers=5)
  参数：max_workers 表示最大可同时执行的线程数
1. submit(任务函数)方法：去提交任务执行
1. shutdown()方法：等待线程尺池中所有的任务执行完毕之后，在往下执行
1. map(任务函数,参数)方法：用于批量任务提交，前面参数是：任务函数后面是任务函数参数
线程池的优点：

1.使用线程池可以避免频繁的去创建线程，销毁线程，可以减少内存的使用

ThreadPoolExecutor类基本语法使用：

# 创建一个队列对象
q = Queue()# 生产数据
def work():for i in range(5):  for a in range(20):  print(f"这是第{i}轮数据插入，插入的数据为:{a}")q.put(a)time.sleep(1)     # 创建一个线程池对象
# 参数：max_workers   表示最大可同时执行的线程数
tpool = ThreadPoolExecutor(max_workers=5)# 1.submit(函数)方法：去提交任务
tpool.submit(work)# 2.shutdown()方法：等待线程尺池中所有的任务执行完毕之后，在往下执行
tpool.shutdown()print("---------------------- 结束执行 -----------------------")

ThreadPoolExecutor类上下文管理协议的语法使用：

上下文管理协议的语法：

with ThreadPoolExecutor(max_workers=5) as tpool:tpool.submit(提交的任务函数)

使用上下文管理器后,无需使用shutdown()方法，在使用 with 语句时，会调用时将 wait 设为 True ，会一样等待

q = Queue()# 生产数据
def work():for i in range(5): for a in range(20): print(f"这是第{i}轮数据插入,,插入的数据为:{a}")q.put(a)time.sleep(1)  with ThreadPoolExecutor(max_workers=5) as tpool:tpool.submit(work)

map方法(任务函数,参数)：用于批量任务提交

map()方法去提交单个参数

def work(name):for i in range(3):print("========= 这是{}执行的第{}轮测试=========".format(name, i))time.sleep(1)with ThreadPoolExecutor(max_workers=5) as tpool:# 1.map方法tpool.map(work,[1,2,3,4,5])   # 与上面的map方法一样的效果# 2.submit方法for i in range(5):tpool.submit(work)
print("---------------------- 结束执行 -----------------------")

map()方法去提交多个参数

def work(name,age):for i in range(3):print("========= 这是{}执行的第{}轮测试,只有{}个=========".format(name,i,age))time.sleep(1)with ThreadPoolExecutor(max_workers=5) as tpool:# 1.submit方法tpool.submit(work,'henry',18)# 2.map方法tpool.map(work, ['henry', 'henry1'], [17, 18])   # 以数组的方式print("---------------------- 结束执行 -----------------------")

二、ProcessPoolExecutor 进程池

进程池执行器：ProcessPoolExecutor类
1. 快速导入：from concurrent.futures import ProcessPoolExecutor
如何使用：
1. 创建一个进程池对象：创建一个进程池对象： ProcessPoolExecutor(max_workers=5)
  参数：max_workers 表示最大可同时执行的进程数
1. submit(任务函数)方法：去提交任务执行
1. shutdown()方法：等待进程池中所有的任务执行完毕之后，在往下执行
1. map(任务函数,参数)方法：用于批量任务提交，前面参数是：任务函数后面是任务函数参数

ProcessPoolExecutor类基本语法使用：

q = Queue()def work():for i in range(5): for a in range(20):  print(f"这是第{i}轮数据插入,,插入的数据为:{a}")q.put(a)time.sleep(1)  #if __name__ == '__main__':with ProcessPoolExecutor(max_workers=5) as tpool:tpool.submit(work)

ProcessPoolExecutor类上下文管理协议的语法使用：

上下文管理协议的语法：

with ThreadPoolExecutor(max_workers=5) as tpool:tpool.submit(提交的任务函数)

使用上下文管理器后,无需使用shutdown()方法，在使用 with 语句时，会调用时将 wait 设为 True ，会一样等待

q = Queue()# 生产数据
def work():for i in range(5): for a in range(20): print(f"这是第{i}轮数据插入,,插入的数据为:{a}")q.put(a)time.sleep(1)  with ProcessPoolExecutor(max_workers=5) as tpool:tpool.submit(work)

进程池之间的数据通信问题：
1. 同一个进程中多个线程之间使用： queue.Queue
  import queue
  q1 = queue.Queue()
1. 多个进程之间数据通信的队列：multiprocessing.Queue
  from multiprocessing import Queue
  q1 = Queue()
1. 进程池之间数据通信：multiprocessing.Manager().Queue
  from multiprocessing import Manager
  q2 = Manager().Queue
注意事项：
1. 如果要使用Pool创建进程，就需要使用 multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()
  否则会得到一条如下的错误信息：RuntimeError: Queue objects should only be shared between processes through inheritance.
实例：
```
def work1(q):for i in range(10):q.put(i)def work2(q):for i in range(10):print(q.get())if __name__ == '__main__':q2 = Manager().Queue()with ProcessPoolExecutor(max_workers=2) as pool:pool.submit(work1, q2)pool.submit(work2, q2)
```

concurrent.futures --- 启动并行任务（线程池）相关推荐

python实现多线程的三种方法threading.Thread(模块)的继承实现和函数实现；以及concurrent.futures模块的线程池实现
1.threading.Thread模块继承实现: import threading import timeclass TestThread(threading.Thread):def __init_ ...
java怎么让main方法不退出_JAVA线程池原理源码解析—为什么启动一个线程池，提交一个任务后，Main方法不会退出？...
public static void main(String[] args) { ExecutorService service = Executors.newFixedThreadPool(10); ...
python线程池模块_python并发编程之进程池，线程池，协程（Python标准模块--concurrent.futures（并发未来））...
需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉只要你用并发,就会有锁的问题,但是你不能一直去 ...
python 线程池 concurrent.futures ThreadPoolExecutor
python 线程池 concurrent.futures ThreadPoolExecutor 步骤: 1,导包from concurrent.futures import ThreadPoolEx ...
线程队列线程池协程
1 . 线程队列 from multiprocessing Queue , JoinableQueue #进程IPC队列 from queue import Queue #线程队列先进先出 f ...
Python线程池与进程池
Python线程池与进程池前言很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识 ...
Python线程池、进程池的介绍与使用
文章目录 1.问题背景 2.单线程→\rightarrow→多线程→\rightarrow→线程池 2.1单线程简介 2.2多线程简介 2.3线程池介绍 2.3.1复用线程 2.3.2线程池的使用 3 ...
python线程池模块_python并发编程之进程池，线程池，协程
需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉只要你用并发,就会有锁的问题,但是你不能一直去 ...
python 进程池、线程池与异步调用、回调机制
进程池.线程池使用案例 from concurrent.futures import ProcessPoolExecutor # 进程池模块 from concurrent.futures impor ...

concurrent.futures --- 启动并行任务（线程池）

concurrent.futures --- 启动并行任务（线程池）相关推荐

最新文章

热门文章