python:一文搞懂多线程,多进程,异步协程的使用场景

本文将使用场景化为案例,将单线程,多线程,多进程,异步协程的速度进行对比

对比速度时, >表示速度快于 >>表示速度远快于 =表示速度差不多 >>>>表示速度远远快于

电脑硬软件配置:

CPU 6600HS, 6核12线程

GPU 16G,打开电脑后,可用内存不到7G

python版本 3.8.5

--------------------------

案例一:

定义一个函数,计算一亿次,循环该函数5次,也就是共计算5亿次

CPU表示我不是人,但你做的不是人事.

def fnc():n = 0[n * i for i in range(100000000)]
k = []
for j in range(5):p = Process(target=fnc)k.append(p)p.start()for p in k:p.join()fnc使用列表推导式
单线程耗时 22.95119619369507
多线程from threading import Thread 23.681288480758667
多进程from multiprocessing import Process  6.752433776855469
线程池from concurrent.futures import ThreadPoolExecutor   21.067291736602783
进程池from concurrent.futures import ProcessPoolExecutor 6.5641186237335205
多进程,多线程很吃GPU, 5个进程或进程GPU使用率从45%--80%甚至达到90%
异步协程 21.282711505889893      GPU使用率最高在50%fnc函数不使用列表推导式,只用for 循环
单线程耗时  15.85204529762268
多线程from threading import Thread    16.62131118774414
多进程from concurrent.futures import ProcessPoolExecutor   4.7446558475494385
线程池from concurrent.futures import ThreadPoolExecutor    15.704242706298828
进程池from concurrent.futures import ProcessPoolExecutor   4.553922414779663
异步协程import asyncio  17.373657703399658
GPU使用率一直在45%

1>fnc函数中,用列表推导式 和 只用for循环:
时间差和占用的内存都体现在:创建了5个列表,该列表有1亿个元素
所以,如果在非常庞大的运行程序中,必须要格外注意程序运行占用的空间
2>池的存在是优于不建池的存在的,原因是池减少了线程反复创建的开销
3>协程异步消耗的资源比多线程,多进程要少很多
4>计算型任务常规的多进程完胜,而建立进程池又完胜常规的多进程

速度: 进程池>多进程>>多线程>单线程>异步协程

以下案例中,将不在展示多线程,多进程,统一替换成线程池,进程池

--------------------------

案例二:

定义一个函数,每次程序停止运行2秒,模拟函数运行消耗的时间,无关IO密集或者计算密集

async def fnc():async with sem:await asyncio.sleep(2)async def main():tasks = [asyncio.ensure_future(fnc()) for _ in range(500)]await asyncio.gather(*tasks)if __name__ == '__main__':t1 = time.time()sem = asyncio.Semaphore(500)asyncio.get_event_loop().run_until_complete(main())print(time.time()-t1)单线程耗时  2 * 500 = 1000 秒
线程池  50个    20.106093168258667
进程池 50个  21.50374722480774
异步协程,设置最大并发量为500, 耗时2.0156943798065186

异步>>线程池=进程池>>单线程

--------------------------

案例三:

定义一个函数,计算一千万次,循环该函数50次

async def fnc():for _ in range(10000000):_ = 0
async def main():tasks = [asyncio.ensure_future(fnc()) for _ in range(50)]await asyncio.gather(*tasks)if __name__ == '__main__':t1 = time.time()asyncio.get_event_loop().run_until_complete(main())print(time.time()-t1)单线程    8.602180480957031
线程池40  0.003867626190185547
进程池13  0.4430716037750244
异步协程  8.703556776046753

速度: 线程池>>进程池>>>>单线程>异步协程

--------------------------

案例四:

定义函数fnc,做一次计算,小循环该函数5万次,大循环5次

def fnc(i):n = 0 * iif __name__ == '__main__':print(f"本机是{os.cpu_count()}线程CPU")t1 = time.time()for _ in range(5):with ThreadPoolExecutor(10) as t:for i in range(50000):t.submit(fnc, i)print(time.time()-t1)单线程耗时  0.02609729766845703
线程池  10个    耗时4.4730799198150635
异步协程,并限制最大并发量为10 ,耗时2.9664089679718018
进程池 10个,并且把range(50000): 修改为range(500):  耗时2.4150047302246094

速度: 单线程>>>> >>>>异步协程>线程池>>>> >>>>进程池

--------------------------

>>>线程一般会经历新建（New）、就绪（Runnable）、运行（Running）、阻塞（Blocked）、死亡（Dead）5 种状态，当线程被创建并启动后，并不会直接进入运行状态，也不会一直处于运行状态，CPU 可能会在多个线程之间切换，线程的状态也会在就绪和运行之间转换。

>>>计算密集型任务,特点是进行大量的计算,消耗CPU资源.比如:计算圆周率,对视频进行解码....

>>>I/O密集型任务: I代表input输入,O代表inout,他们的特点是CPU消耗很少,因为CPU和内存的速度远远大于 I/O操作的速度,所以任务的大部分时间都在等待IO操作完成,

故以上四个案例可以视为:

案例一代表纯CPU计算------进程池完胜

案例二代表CPU耗时=IO耗时------协程异步完胜

案例三代表少量CPU计算, 大量IO操作(相对于CPU计算的时间是大量的)------线程池完胜

案例四代表极少量CPU计算------单线程完胜

--------------------------

进程程池进程数量设置: CPU核数 + 1

线程池线程数量设置: CPU核数 * [ 1 + (IO耗时 / CPU耗时) ]

异步协程: 本质是程序里面的函数,线程的上下文(CPU计算和IO操作)切换由我们自己控制,通常资源消耗最少,所以有微线程之称.

python:一文搞懂多线程,多进程,异步协程的使用场景相关推荐

Python分别用单线程，多线程，异步协程爬取一部小说，最快仅需要5s
文章目录单线程爬取多线程爬取异步协程爬取本文运用了三种方式爬取一整部小说,分别运用了单线程爬取,多线程爬取和异步协程爬取. 小说网址:` http://www.doupo321.com/dou ...
Python高并发爬虫测评(2): 多进程, 多线程和异步协程哪个快?
在Python爬虫下一代网络请求库httpx和parsel解析库测评一文中我们对比了requests的同步爬虫和httpx的异步协程爬虫爬取链家二手房信息所花的时间(如下所示:一共580条记录),结果 ...
python爬虫 asyncio aiohttp aiofiles 单线程多任务异步协程爬取图片
python爬虫 asyncio aiohttp aiofiles 多任务异步协程爬取图片 main.py """=== coding: UTF8 ==="&q ...
python多线程多进程多协程_python 多进程、多线程、协程
1.python的多线程多线程就是在同一时刻执行多个不同的程序,然而python中的多线程并不能真正的实现并行,这是由于cpython解释器中的GIL(全局解释器锁)捣的鬼,这把锁保证了同一时刻只有 ...
Python中多线程多进程与协程的区别
进程:一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,开销大. 线程: 调度执行的最小单位,也叫执行路径,不能 ...
【python3 高级编程】.一文搞懂多线程
1.2.1 多线程介绍线程是程序执行流的最小单元. 线程由线程id,当前计算机的指令指针,寄存器集合和堆栈组成. 线程是一个实体,被系统独立调度和分派的基本单位 1.2.2 线程模块 1.pytho ...
Python Asyncio 所有异步协程库用法详解
title: Asyncio并发编程 copyright: true top: 0 date: 2019-04-03 14:09:24 tags: Asyncio categories: Python ...
一文搞懂 Python 的 import 机制
一.前言希望能够让读者一文搞懂 Python 的 import 机制 1.什么是 import 机制? 通常来讲,在一段 Python 代码中去执行引用另一个模块中的代码,就需要使用 Python ...
python语言语句快的标记是什么_一文搞懂Python程序语句
原标题:一文搞懂Python程序语句程序流 Python 程序中常用的基本数据类型,包括: 内置的数值数据类型 Tuple 容器类型 String 容器类型 List 容器类型自然的顺序是从页面或 ...

python:一文搞懂多线程,多进程,异步协程的使用场景

python:一文搞懂多线程,多进程,异步协程的使用场景相关推荐

最新文章

热门文章