python和java对比并发_Python并发编程之从性能角度来初探并发编程(一)
本文目录并发编程的基本概念
单线程VS多线程VS多进程
性能对比成果总结
前言
作为进阶系列的一个分支「并发编程」,我觉得这是每个程序员都应该会的。
并发编程 这个系列,我准备了将近一个星期,从知识点梳理,到思考要举哪些例子才能更加让人容易吃透这些知识点。希望呈现出来的效果真能如想象中的那样,对小白也一样的友好。
昨天大致整理了下,这个系列我大概会讲如下内容(后期可能调整):
对于并发编程,Python的实现,总结了一下,大致有如下三种方法:多线程
多进程
协程(生成器)
在之后的章节里,将陆陆续续地给大家介绍到这三个知识点。
.并发编程的基本概念
在开始讲解理论知识之前,先过一下几个基本概念。虽然咱是进阶教程,但我也希望写得更小白,更通俗易懂。
串行:一个人在同一时间段只能干一件事,譬如吃完饭才能看电视;
并行:一个人在同一时间段可以干多件事,譬如可以边吃饭边看电视;
在Python中,多线程 和 协程 虽然是严格上来说是串行,但却比一般的串行程序执行效率高得很。
一般的串行程序,在程序阻塞的时候,只能干等着,不能去做其他事。就好像,电视上播完正剧,进入广告时间,我们却不能去趁广告时间是吃个饭。对于程序来说,这样做显然是效率极低的,是不合理的。
当然,学完这个课程后,我们就懂得,利用广告时间去做其他事,灵活安排时间。这也是我们多线程和协程 要帮我们要完成的事情,内部合理调度任务,使得程序效率最大化。
虽然 多线程 和 协程 已经相当智能了。但还是不够高效,最高效的应该是一心多用,边看电视边吃饭边聊天。这就是我们的 多进程才能做的事了。
为了更帮助大家更加直观的理解,在网上找到两张图,来生动形象的解释了多线程和多进程的区别。(侵删)多线程,交替执行,另一种意义上的串行。
多进程,并行执行,真正意义上的并发。
.单线程VS多线程VS多进程
文字总是苍白无力的,千言万语不如几行代码来得孔武有力。
接下来,让我们一起用代码来测试一下,单线程、多线程、多进程到底性能差多少呢?
首先,准备环境,我的实验环境配置如下:操作系统CPU核数内存(G)硬盘CentOS 7.224核32机械硬盘注意
以下代码,若要理解,对小白有如下知识点要求:装饰器的运用
多线程的基本使用
多进程的基本使用
当然,看不懂也没关系,主要最后的结论,能让大家对单线程、多线程、多进程在实现效果上有个大体清晰的认识,达到这个效果,本文的使命也就完成了,等到最后,学完整个系列,不妨再回头来理解也许会有更深刻的理解。
下面我们来看看,单线程,多线程和多进程,在运行中究竟孰强孰弱。
开始对比之前,首先定义四种类型的场景CPU计算密集型
磁盘IO密集型
网络IO密集型
【模拟】IO密集型
为什么是这几种场景,这和多线程 多进程的适用场景有关。结论里,我再说明。1# CPU计算密集型
2def count(x=1, y=1):
3 # 使程序完成150万计算
4 c = 0
5 while c < 500000:
6 c += 1
7 x += x
8 y += y
9
10
11# 磁盘读写IO密集型
12def io_disk():
13 with open("file.txt", "w") as f:
14 for x in range(5000000):
15 f.write("python-learning\n")
16
17
18# 网络IO密集型
19header = {
20 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
21url = "https://www.tieba.com/"
22
23def io_request():
24 try:
25 webPage = requests.get(url, headers=header)
26 html = webPage.text
27 return
28 except Exception as e:
29 return {"error": e}
30
31
32# 【模拟】IO密集型
33def io_simulation():
34 time.sleep(2)
比拼的指标,我们用时间来考量。时间耗费得越少,说明效率越高。
为了方便,使得代码看起来,更加简洁,我这里先定义是一个简单的时间计时器 的装饰器。
如果你对装饰器还不是很了解,也没关系,你只要知道它是用于 计算函数运行时间的东西就可以了。1def timer(mode):
2 def wrapper(func):
3 def deco(*args, **kw):
4 type = kw.setdefault('type', None)
5 t1=time.time()
6 func(*args, **kw)
7 t2=time.time()
8 cost_time = t2-t1
9 print("{}-{}花费时间:{}秒".format(mode, type,cost_time))
10 return deco
11 return wrapper
第一步,先来看看单线程的1@timer("【单线程】")
2def single_thread(func, type=""):
3 for i in range(10):
4 func()
5
6# 单线程
7single_thread(count, type="CPU计算密集型")
8single_thread(io_disk, type="磁盘IO密集型")
9single_thread(io_request,type="网络IO密集型")
10single_thread(io_simulation,type="模拟IO密集型")
看看结果1【单线程】-CPU计算密集型花费时间:83.42633867263794秒
2【单线程】-磁盘IO密集型花费时间:15.641993284225464秒
3【单线程】-网络IO密集型花费时间:1.1397218704223633秒
4【单线程】-模拟IO密集型花费时间:20.020972728729248秒
第二步,再来看看多线程的1@timer("【多线程】")
2def multi_thread(func, type=""):
3 thread_list = []
4 for i in range(10):
5 t=Thread(target=func, args=())
6 thread_list.append(t)
7 t.start()
8 e = len(thread_list)
9
10 while True:
11 for th in thread_list:
12 if not th.is_alive():
13 e -= 1
14 if e <= 0:
15 break
16
17# 多线程
18multi_thread(count, type="CPU计算密集型")
19multi_thread(io_disk, type="磁盘IO密集型")
20multi_thread(io_request, type="网络IO密集型")
21multi_thread(io_simulation, type="模拟IO密集型")
看看结果1【多线程】-CPU计算密集型花费时间:93.82986998558044秒
2【多线程】-磁盘IO密集型花费时间:13.270896911621094秒
3【多线程】-网络IO密集型花费时间:0.1828296184539795秒
4【多线程】-模拟IO密集型花费时间:2.0288875102996826秒
第三步,最后来看看多进程1@timer("【多进程】")
2def multi_process(func, type=""):
3 process_list = []
4 for x in range(10):
5 p = Process(target=func, args=())
6 process_list.append(p)
7 p.start()
8 e = process_list.__len__()
9
10 while True:
11 for pr in process_list:
12 if not pr.is_alive():
13 e -= 1
14 if e <= 0:
15 break
16
17# 多进程
18multi_process(count, type="CPU计算密集型")
19multi_process(io_disk, type="磁盘IO密集型")
20multi_process(io_request, type="网络IO密集型")
21multi_process(io_simulation, type="模拟IO密集型")
看看结果1【多进程】-CPU计算密集型花费时间:9.082211017608643秒
2【多进程】-磁盘IO密集型花费时间:1.287339448928833秒
3【多进程】-网络IO密集型花费时间:0.13074755668640137秒
4【多进程】-模拟IO密集型花费时间:2.0076842308044434秒
.性能对比成果总结
将结果汇总一下,制成表格。种类CPU
计算密集型磁盘
IO密集型网络
IO密集型模拟
IO密集型单线程83.4215.641.1320.02
多线程93.8213.270.182.02
多进程9.081.280.132.01
我们来分析下这个表格。
首先是CPU密集型,多线程以对比单线程,不仅没有优势,显然还由于要不断的加锁释放GIL全局锁,切换线程而耗费大量时间,效率低下,而多进程,由于是多个CPU同时进行计算工作,相当于十个人做一个人的作业,显然效率是成倍增长的。
然后是IO密集型,IO密集型可以是磁盘IO,网络IO,数据库IO等,都属于同一类,计算量很小,主要是IO等待时间的浪费。通过观察,可以发现,我们磁盘IO,网络IO的数据,多线程对比单线程也没体现出很大的优势来。这是由于我们程序的的IO任务不够繁重,所以优势不够明显。
所以我还加了一个「模拟IO密集型」,用sleep来模拟IO等待时间,就是为了体现出多线程的优势,也能让大家更加直观的理解多线程的工作过程。单线程需要每个线程都要sleep(2),10个线程就是20s,而多线程,在sleep(2)的时候,会切换到其他线程,使得10个线程同时sleep(2),最终10个线程也就只有2s.
可以得出以下几点结论单线程总是最慢的,多进程总是最快的。
多线程适合在IO密集场景下使用,譬如爬虫,网站开发等
多进程适合在对CPU计算运算要求较高的场景下使用,譬如大数据分析,机器学习等
多进程虽然总是最快的,但是不一定是最优的选择,因为它需要CPU资源支持下才能体现优势
python和java对比并发_Python并发编程之从性能角度来初探并发编程(一)相关推荐
- python与java的比较_Python和Java两者有什么区别?
Java是具有悠久历史的老牌开发语言,Python是如今人工智能时代的首选语言,无论是Java还是Python都相当强大,这两门语言有很多的相似之处,但是也有很多的不同,难免会拿来比较.今天千锋小编就 ...
- python vs java 搞笑视频_Python VS Java,谁能笑到最后?
一些开发人员声称Python比Java更有生产力.但更应先说明的是:Python和Java有什么区别? Python VS Java 在学习中有迷茫不知如何学习的朋友小编推荐一个学python的学习裙 ...
- python和java哪个有用_python和java哪个好
python和java哪个好?书声琅琅Python培训老师介绍,这两年来IT教育发展迅速,编程语言随着发展也日益月异,比较火的Python语言发展迅速,与传统使用的JAVA语言来说,火爆程度差不多,就 ...
- python和java后期发展_Python与java的发展前景谁最大
Python和Java是目前IT行业内两大编程语言,很多人都喜欢拿来比较,一个是后起之秀,潜力无限:一个是行业经典,成熟稳定.对于许多想从事IT行业的同学来说,这两门语言真的很难抉择.那么,Pytho ...
- python和java哪个好学-Python和Java对比,全面解读哪个语言最赚钱,前景最好?
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java和python,哪个就业前景更好,薪资更高?该学哪一个? 一.语言历史 ...
- python和java哪个好-Python和Java对比,全面解读哪个语言最赚钱,前景最好?
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java和python,哪个就业前景更好,薪资更高?该学哪一个? 一.语言历史 ...
- python vs java 搞笑视频_Python和Java该学哪个?别纠结了700集视频合集,限时分享...
Java还是Python这确实是个难题.如果问Java程序员一定会告诉你先学Java,如果问Python程序员一定会告诉你先学python.今天小编来给你分析一下.你到底适合学哪个? 本文内容要点: ...
- python手机开发的软件_Python新手入门教程_在手机上就能学习编程的软件
Python新手入门教程_在手机上就能学习编程的软件 很多小伙伴会问:我在学编程,想利用坐地铁坐公交吃饭间隙学编程,在手机上能学编程的软件有哪些?毕竟时间宝贵啊!!哈哈哈!!! 这个问题,在悟空回答的 ...
- python中如何输入矩阵_python - 如何向矩阵中添加向量_numpy_酷徒编程知识库
首先,我们可以初始化一个用零填充所需形状的矩阵,然后将a复制到前13行.在任何情况下,我们都必须形成一个新的矩阵,因为我们无法摆弄现有的矩阵/向量,因为我们需要为额外的空行分配更多的内存. 你可以在下 ...
最新文章
- MySQL中的索引(唯一索引篇)
- sparse double型矩阵转为full矩阵
- VTK:BSP树时序用法实战
- python作品代码_学习python的一些心得体会
- RHCE系列之权限管理----ACL(访问控制列表)
- Pandownload作者被抓后,我决定用docker搭建一款私有网盘
- chainmaker 区块链配置文件位置 版本号
- 【FPGA】 Altera FPGA 入门篇(1)
- WIN7下安装IIS
- 飞机大战,坦克大战源码、简单仿记事本、错题本源码及笔记
- 【CVPR2021】论文汇总列表--Part1
- Educational Codeforces Round 51 (Rated for Div. 2).B. Relatively Prime Pairs(水题)
- 即构SDK新增变声、立体声(3D环绕)、混响三大功能
- 天翼杯大数据算法应用大赛
- 习题 9.9 商店销售某一商品,商店每天公布统一的折扣(discount)。同时允许销售人员在销售时灵活掌握售价(price),在此基础上,对一次购10件以上者,还可以享受9.8折优惠。
- Vue-router导航
- 【前端换肤】前端换肤方案
- 使用deepin-emacs
- 客户服务知识库的最佳实践7个步骤
- 模拟电子技术------半导体
热门文章
- Freebsd下如何安装配置ssh
- 如何在ASP.NET中用OWC绘制图表
- 计算机组成原理第7章-输入/输出系统
- 编写Thymeleaf视图以展示数据
- ld3320语音识别模块工作原理_风冷模块热泵机组的工作原理与施工安装教程
- 5中打开safari_iOS13版Safari浏览器新功能上线:可调节上传照片大小
- 专科生文科生学计算机有前途吗,我是一个双非大专生,感觉前途一片迷茫
- linux wc -l 对io,linux设备驱动归纳总结(五):2.操作硬件——IO内存
- php smarty fetch,fetch()
- fseek linux 大文件_一文搞懂Linux系统开发