【Python】单线程异步多线程多进程实例

上一篇文章主要介绍了多任务场景下单线程异步、多线程、多进程如何选择，链接：多任务场景下单线程异步多线程多进程
这里主要通过三个实例去验证一下简单的多任务场景下，三种方式的耗时情况，假设有10个互不关联的10个任务

'''''''''
多进程版本：
使用多进程，时间比多线程更慢，为什么？因为创建进程的成本是要比线程高的，
虽然，它可以利用多核CPU的优势，但是在这里，用不上，就好比杀鸡用牛刀一样，大材小用，还提高了成本。
'''''''''import time
import multiprocessingfrom logger import Logger
logger = Logger("multiProcess").get_log()def processTask(t):logger.info("任务开始：%s", t)time.sleep(1)logger.info('任务耗时1秒钟')if __name__=='__main__':t3 = time.time()processes = [multiprocessing.Process(target = processTask, args=(t,)) for t in range(0, 10)]for p in processes:p.start()for p in processes:p.join()logger.info("总共耗时：%s ", time.time() - t3)

总共耗时：1.9219999313354492，运行截图：

'''''''''
多线程版本：
5个线程各负责一个任务，全部完成最后只花了1秒多一点时间，所以，对于阻塞性任务，例如IO密集型任务，
即使有GIL，还是能发挥多线程的作用的，毕竟，时间花在IO等待上，如果是CPU密集型任务效果不大。
'''''''''import time
import threadingfrom logger import Logger
logger = Logger("multiThread").get_log()def  multiTask(t):logger.info("任务开始：%s", t)time.sleep(1)logger.info('任务耗时1秒钟')def main():threads = [threading.Thread(target = multiTask,args=(t,)) for t in range(0,10)]for t in threads:t.start()for t in threads:t.join()if __name__ == '__main__':t1 = time.time()main()logger.info("总共耗时：%s ",time.time()-t1)

总共耗时：1.003000020980835，运行截图：

'''''''''
单线程异步模型：
发现使用asyncio所的时间与多线程几乎一致。尽管它是单线程，但因为它没有多线程和进程的创建成本，
就是在单线程环境下，切换任务，当这个任务被阻塞时，立刻切换其他任务，当前面的任务完成时，在通知它。
'''''''''import asyncio
import timefrom logger import Logger
logger = Logger("asyncSingleThread").get_log()async def singleTask(t):logger.info("任务开始：%s",t)await asyncio.sleep(1)logger.info('任务耗时1秒钟')async def main(loop):tasks = [loop.create_task(singleTask(t)) for t in range(0, 10)]await asyncio.wait(tasks)t4 = time.time()
loop = asyncio.get_event_loop()  # 建立 loop
loop.run_until_complete(main(loop))  # 执行 loop
loop.close()  # 关闭 loop
logger.info("总共耗时：%s ", time.time() - t4)

总共耗时：1.0079998970031738 ，运行截图：

【Python】单线程异步多线程多进程实例相关推荐

多任务场景下单线程异步多线程多进程
多任务的场景:1.爬取不同url的内容,爬取同一个url分页内容.比如:豆瓣图书 Top 250 https://book.douban.com/top250?start=0 实现豆瓣图书Top250 ...
Python单线程、多线程、多进程运行效率评测对比
近日用python做图像处理,涉及到推拉流使用了python的多进程机制,结果导致程序运行效率大大下降,后来在反复试验中又发现子进程的速度比主进程快很多,特地做此测评.先上结论评测结果程序运行速度 ...
Python——单线程与多线程
并发:一个人吃,一口菜一口包子,但由于切换速度快,感觉像在同时吃菜和包子并行:两个人同时吃,一个人吃包子,一个吃菜,所有吃包子和吃菜是同时的.同步:并发或并行的各个任务不是独自运行的任务之间有一定的 ...
python 单线程和多线程
单线程, 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序. #coding=utf-8 import threading from t ...
python 单线程与多线程爬虫
帮别人写爬虫,先是单线程,太慢,改了多线程 1.单线程 import urllib import urllib.request import requests import xlwt import r ...
python单线程和多线程的区别
多线程与单线程的区别 1.生活举例你早上上班,正要打卡的时候,手机响了..你如果先接了电话,等接完了,在打卡,就是单线程. 如果你一手接电话,一手打卡.就是多线程,2件事的结果是一样的..你接了电话 ...
Python多线程多进程、异步、异常处理等高级用法
文章目录前言多线程多进程多线程多进程协程总结异步基本概念异步编程 asyncio aiohttp 异常常见异常异常处理自定义异常 lambda表达式 lambda表达式用法高 ...
python:一文搞懂多线程,多进程,异步协程的使用场景
本文将使用场景化为案例,将单线程,多线程,多进程,异步协程的速度进行对比对比速度时, >表示速度快于 >>表示速度远快于 =表示速度差不多 >>>> ...
Python爬虫：单线程、多线程和协程的爬虫性能对比！异步才是永远滴神！
然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯,并分别用普通的单线程.多线程和协程来爬取,从而对比单线程.多线程和协程在网络爬虫中的性能. 具体要爬的网址是:https://mov ...

【Python】单线程异步多线程多进程实例

【Python】单线程异步多线程多进程实例相关推荐

最新文章

热门文章