python中的多线程求值串行和并行_python多线程和多进程——python并行编程实验
工作中经常涉及到加速程序的运行,除了代码逻辑的优化,算法的优化之外,还经常使用的一招就是并发编程。至于python的并型编程这一块。说到并行编程,我们不得不谈线程和进程这两个概念: + 进程:对于操作系统来说,一个任务就是一个进程(Process),熟悉linux的朋友敲命令ps -aux 就可以看到本机正在启动的任务——进程 。 + 线程:在一个进程内部(一个任务),要同时干多件事,就需要同时运行多个“子任务”,我们把进程内的这些“子任务”称为线程(Thread)。
这里要注意的是每个进程至少要干一个任务,每个进程至少有一个线程。
正常的程序都是顺序执行,你完成干完一件事后再接着干下一件事。这样就会出现一个问题,无法同时干多件事。而并行编程就是希望程序能够同时干多件事情,起到程序加速运行的效果。
并行编程的三种模式1.多进程: 开启多个进程,每个进程中都有一个线程,并行去执行多个任务。
2.多线程 :只开启一个进程,在进程中采取多线程编程模式,真正的多线程是将任务分发到不同的CPU,充分利用多核CPU。
3.多进程加多线程:这个就是上面两种的组合,开启多个进程,每个进程中都采用多个进程去合力完成多个任务。
这里我们就来好好解释一下,python的GIL机制:python的GIL本质是一把互斥锁,保证同一时间只有一条线程访问解释器级别的数据,这样就避免了数据竞争带来的混乱,但是这个机制使得原本希望多线程带来的并行执行,变成了串行执行。
如果是I/O密集型操作,比如访问web服务,访问数据库等时,由于这些操作不涉及到CPU的运算,所以此时多线程就能够发挥优势,多线程可以同时进行多个I/O操作,加速程序运行。
而CPU密集型操作,要频繁使用CPU计算的场景,python中的多线程则几乎完全变成了串行,加之还要在不同线程中间切换,有时效果还不如顺序执行。此时就需要使用多进程来加速程序运行。
实验部分
导入multiprocessing.dummy ——python中多线程模块,threading拥有同样功能;multiprocessing——python中多进程模块。
import requests
import time
from multiprocessing.dummy import Pool as ThreadPool
from multiprocessing import Pool
tpool = ThreadPool()
ppool = Pool()
I/O密集型任务测试
在I/O密集型任务上分布测试 顺序执行,多线程,多进程的速度如何:
urls = ["https://www.baidu.com/"]*100
time_1 = time.time()
for i in urls:
requests.get("https://www.baidu.com/")
time_2 = time.time()
print("I/O密集型:for 循环使用时间",time_2-time_1)
time_3 = time.time()
tpool.map(requests.get,urls)
time_4 = time.time()
print("I/O密集型:多线程使用时间",time_4-time_3)
time_5 = time.time()
ppool.map(requests.get,urls)
time_6 = time.time()
print("I/O密集型:多进程使用时间",time_6-time_5)
结果如下: I/O密集型:for 循环使用时间 14.102440595626831 I/O密集型:多线程使用时间 2.5032284259796143 I/O密集型:多进程使用时间 2.267827272415161
多线程和多进程确实比顺序执行快了将近6倍,而多进程和多线程的速度差不多。
CPU(计算)密集型任务测试
在CPU(计算)密集型任务上分布测试 顺序执行,多线程,多进程的速度如何:
data = [10000]*10
def get_jiecheng(num):
res = 1
for i in range(num):
res *= (i+1)
time_7 = time.time()
for i in data:
get_jiecheng(i)
time_8 = time.time()
print("计算密集型:for 循环使用时间",time_8-time_7)
time_9 = time.time()
tpool.map(get_jiecheng,data)
time_10 = time.time()
print("计算密集型:多线程使用时间",time_10 - time_9)
time_11 = time.time()
ppool.map(get_jiecheng,data)
time_12 = time.time()
print("计算密集型:多进程使用时间",time_12-time_11)
time_13 = time.time()
ppool.map_async(get_jiecheng,data)
time_14 = time.time()
print("计算密集型:多进程异步使用时间",time_14-time_13)
计算密集型:for 循环使用时间 0.5359704494476318 计算密集型:多线程使用时间 0.5580940246582031 计算密集型:多进程使用时间 0.10313701629638672 计算密集型:多进程异步使用时间 0.00018835067749023438
此时多线程反而变成慢了,多进程比多线程和顺序执行快了大概5倍左右,同时,异步的多进程最快,加速5000多倍。但是异步的缺点也显而易见,就是无法实现进程之间的通信。
python的多进程在linux服务器上存在在一个内存复制机制——子进程会复制父进程的状态(内存空间数据等),所以如果主进程耗的资源较多时,就会造成大量的不必要的内存复制,从而导致内存爆掉。
总结
综上python 多进程和多线程总结如下: + 多线程的缺点:CPU密集型计算速度变慢。 + 多线程的优点:I/O密集型计算加速效果明显,不是特别消耗CPU和内存资源。 + 多进程的缺点:特别消耗耗CPU和内存资源 + 多进程的优点:I/O密集型和CPU密集型计算加速效果明显。
所以笔者建议以后碰到I/O密集型计算建议使用 python多线程,而CPU密集型计算建议使用python多进程。
参考
python中的多线程求值串行和并行_python多线程和多进程——python并行编程实验相关推荐
- python中len函数返回值为int吗_Python len()函数
目录 描述 语法 参数说明 举例 1. 当参数是序列类型对象(字符.字符串.列表.元组或者是字典)时: 2. 当参数是非序列对象时: 注意事项 描述 len函数返回序列类型对象(字符或字符串.元组.列 ...
- java惰性计算原理_利用 Lambda 表达式实现 Java 中的惰性求值
Java 中惰性求值的潜能,完全被忽视了(在语言层面上,它仅被用来实现 短路求值 ).更先进的语言,如 Scala,区分了传值调用与传名调用,或者引入了 lazy 这样的关键字. 尽管 Java 8 ...
- Python中整数移位及二进制串操作
Python中整数移位及二进制串操作 最近一个项目涉及到电压数据的接收和可视化处理.其中电压数据是由FPGA通过TCP协议传输的二进制流,软件接收端需要安装数据帧格式进行解析后处理.由于嵌入式组的FP ...
- python中Scipy模块求取积分
python中Scipy模块求取积分的方法: SciPy下实现求函数的积分的函数的基本使用,积分,高等数学里有大量的讲述,基本意思就是求曲线下面积之和. 其中rn可认为是偏差,一般可以忽略不计,wi可 ...
- 串行和并行的区别_入门参考:从Go中的协程理解串行和并行
本文转自公众号语言随笔,欢迎关注 入门参考:从Go中的协程理解串行和并行mp.weixin.qq.com Go语言的设计亮点之一就是原生实现了协程,并优化了协程的使用方式.使得用Go来处理高并发问题 ...
- C/C++ 语言中的表达式求值
转载地址:http://www.cnblogs.com/heyonggang/p/3340301.html 在此,首先向裘老师致敬! 裘宗燕:C/C++ 语言中的表达式求值 经常可以在一些讨论组里看到 ...
- python中布尔型的值_在python中对于bool布尔值的取反操作
背景 根据公司业务的需求,需要做一个对于mysql数据库的大批量更新.脚本嘛也是干干单单.使用了redis的队列做缓存,可以异步并发的多任务进行更新. 有点难受的地方在于,请求访问时,因为一些网速,速 ...
- 不显示参数名_第51p,万能参数与返回值,Python中函数的返回值
大家好,我是杨数Tos,这是<从零基础到大神>系列课程的第51篇文章,第三阶段的课程:Python进阶知识:详细讲解Python中的函数(四)====>函数的参数与返回值(下篇). ...
- 裘宗燕:C/C++ 语言中的表达式求值
裘宗燕:C/C++ 语言中的表达式求值 经常可以在一些讨论组里看到下面的提问:"谁知道下面C语句给n赋什么值?" m = 1; n = m+++m++; 最近有位不相识的朋友发em ...
最新文章
- python语言入门n-Python基础语法学习笔记
- 非平衡数据集的机器学习常用处理方法
- shader 4 杂 一些和函数名词、数据结构
- sigaction函数使用实例
- 隐藏a标签seo_SEO网站优化,新手SEO常犯的五个错误!
- Web前端笔记(7)
- 植物病害鉴定真的需要深度CNN吗?
- java.lang.IllegalArgumentException: An invalid character [10] was present in the Cookie value
- 一个高效简洁的Struts分页方法
- linux 判断某进程 前台还是后台,Linux进程管理——进程前后台(优先级)以及作业控制等...
- 用python实现词频统计
- sfm点云代码_PCL点云显示sfm数据
- VMware搭建docker mastodon
- 怎么设置计算机 图标显示桌面快捷方式,如何设置显示桌面快捷键 设置显示桌面快捷键方法【图文】...
- oracle 的exp是什么,oracle中exp和imp是什么,oracle中exp和imp有何区别 | 学步园
- grid布局浏览器兼容_CSS Grid 网格布局教程
- suse linux服务器的常用命令
- 企业选择MES系统不能盲目看重价格
- BC57F68与CSR8645区别对比
- python控制摄像头拍照_microbit使用蓝牙控制树莓派摄像头拍照
热门文章
- 厦门大学c语言第七八章作业答案,厦门大学 运筹学 第七、八章作业
- android 视网膜黄斑检查 amsler,自测黄斑病变 | 一张图搞定
- linux fstab 权限,linux中fstab文件配置简介
- maven学习(2)
- 关于腾讯应用管理中心,认领应用
- Java知识点详解 4 泛型
- laravel5.4+vue+vux+element的环境搭配
- ThinkPHP框架 _ 学习5
- Tomcat中设置数据源和连接池
- 今天中午的时候,可能是自己太忙过头了,所以出现了拿错卡去充值