python提高运行效率_提高CPU密集型任务执行效率——Python多进程介绍，内附实例代码...
multiprocessing模块介绍
Python中多线程无法利用多核优势，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程，Python提供了multiprocessing。
multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数），该模块与多线程模块threading的编程接口类似。
multiprocessing模块的功能众多：支持子进程，通信和共享数据，执行不同形式的同步，提供了process、Queue、Lock等组件。
需要再次强调的一点是：与线程不同，进程没有任何共享状态，进程修改的数据，改动仅限与该进程内。
由该类实例化得到的对象，表示一个子进程中的任务，其中需要使用关键字的方式来指定参数，args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号。
参数说明：
group
：参数未使用，值始终为None。
target
：表示调用对象，即子进程要执行的任务函数。
args
：表示调用对象的位置参数元组，args=(age,1,)。
kwargs
：表示调用对象的字典，kwargs={'age':'17' , 'sex':'boy'}。
name
：为子进程的名称。
常用属性说明：
Process.name
：进程的名称。
Process.pid
：进程的PID。
Process.daemon
：需在p.start()之前设置，默认值为False，如果设为True，当父进程结束后，子进程会自动被终止。且设定为True时，P不能创建自己的新进程。
Process.exitcode
：进程在运行时为None、如果为–N，表示被信号N结束。
Process.authkey
：进程的身份验证键，默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功。
常用方法
Process.start()
：启动进程，并调用该子进程中的p.run() (进程启动时运行的方法)。
Process.terminate()
：强制终止进程p，不会进行任何清理操作，如果P创建了子进程，该子进程就成了僵尸进程。如果P还存在锁，那么也不会被释放，进而导致死锁。需谨慎使用。
Process.is_alive()
：返回P运行状态，若运行，返回True。
Process.join([timeout])
：主线程等待P终止（强调：是主线程处于等的状态，而P是处于运行的状态）。timeout是可选的超时时间，需要强调的是，P.join只能join住start开启的进程，而不能join住run开启的进程。
multiprocessing 使用函数创建多进程
注意：在windows中process()必须放到 if __name__ == '__main__'：
multiprocessing 使用类创建多进程
在下面的例子中，我们继承了 Process 这个类，然后重写了run方法。打印出来了进程名称和
任务名称
。
Deamon 进程守护
每个线程都可以单独设置它的属性，如果设置为True，当父进程结束后，子进程会自动被终止。如下代码，调用的时候增加了设置deamon。
守护进程会在主进程代码执行结束后终止。
守护进程内无法再开启子进程，否则抛出异常：AssertionError：daemonic processes are not allowed to have children。
因为主进程没有做任何事情，直接输出一句话结束，所以在这时也直接终止了子进程的运行。最后输出Exiting Main Process。接下来，我们让主进程做点事情，如下
那么如果我们让所有子进程都执行完了然后再结束，该怎么处理，只需要加入join()方法，这样父进程（主进程）就会等待子进程执行完毕，如下：
所有子进程都执行完毕之后，父进程最后打印出了结束的信息。
Lock 锁
进程之间数据隔离，数据不共享，但是共享同一套文件系统，因而可以通过文件来实现进程直接的通信，但必须自己加锁进行处理。
加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，牺牲了运行效率，但保证了数据安全。
虽然可以用文件共享数据实现进程间通信，但问题是：
效率低
需要加锁处理
为此multiprocessing模块为我们提供了基于消息的IPC通信机制：队列。
Queue 进程间通信
我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题。
队列是将数据存放与内存中。
队列又是基于管道、锁实现的，可以让我们从复杂的锁问题中解脱出来。
Queue模块中的常用方法：
Queue.put()
：方法用以插入数据到队列中，put方法还有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。
Queue.get()
：方法可以从队列读取并且删除一个元素。同样，get方法有两个可选参数：blocked和timeout。如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常。
Queue.get_nowait()
：同Queue.get(False)。
Queue.put_nowait()
：同Queue.put(False)。
Queue.empty()
：调用此方法时Queue为空则返回True。
Queue.full()
：调用此方法时Queue已满则返回True。
Queue.qsize()
：返回队列中目前项目的正确数量。
如上通过添加q.put(None) 作为信号，当所有的包子都生产完成了之后就在队列里最后加上这个None信号，当顾客从队列里拿到这个信号的时候，就表示已经没有包子了，进程退出。但当做个消费者时，要加两个 q.put(None) 因为这里模拟2个消费者，如果只有1个None信号，但消费者拿到第一个None之后，他知道没有了就会退出进程，但是第二个消费者就拿不到了，所以就会一直在哪里等待，导致程序卡死，所以有多少个消费者就需要多少个信号。那么有没有其他方式能够简化这种操作？——JoinableQueue。
JoinableQueue（N个生产者和N个消费者）
JoinableQueue
与Queue一样也是multiprocessing模块中的一个类，也可以用于创建进程队列。
JoinableQueue 创建可连接的共享进程队列，队列允许队列的消费者通知生产者，队列数据已被成功处理完成。通知过程是使用共享的信号和条件变量来实现的。
JoinableQueue除了与Queue相同的方法之外，还具有2个特有的方法：
JoinableQueue.task_done()
：使用者使用此方法发出信号，表示Queue.get()的返回项目已经被处理。如果调用此方法的次数大于从队列中删除项目的数量，将引发ValueError异常。
JoinableQueue.join()
：生产者调用此方法进行阻塞，直到队列中所有的项目均被处理。阻塞将持续到队列中的每个项目均调用Queue.task_done()方法为止。
希望对你有所帮助，若感兴趣欢迎关注、点赞支持。
python提高运行效率_提高CPU密集型任务执行效率——Python多进程介绍，内附实例代码...相关推荐
- python提高运行效率_提高 Python 运行效率的六个窍门
窍门一:关键代码使用外部功能包 Python简化了许多编程任务,但是对于一些时间敏感的任务,它的表现经常不尽人意.使用C/C++或机器语言的外部功能包处理时间敏感任务,可以有效提高应用的运行效率.这些 ...
- 数控车椭圆编程实例带图_数控车床任意位置椭圆宏程序编程，内附实例程序！...
不在轴线上的椭圆宏程序编制也没有什么特殊的,只是改下偏置的数值罢了. 椭圆的参数方程为:X=a*COSθ Y=b*SINθ 可改写为: #1=30*cos[#3] #3为参数方程对应的中角度 #2=2 ...
- Opencv+Python学习记录9：掩膜（掩码）的使用（内附详细代码）
一,基本概念 OpenCV中的很多函数都会指定一个掩模,也被称为掩码,例如: 计算结果=cv2.add(参数1,参数2,掩模) 当使用掩模参数时,操作只会在掩模值为非空的像素点上执行,并将其他像素点的 ...
- python线程创建对象_Python线程下thread对象的用法介绍（附实例）
本篇文章给大家带来的内容是关于Python线程下thread对象的用法介绍(附实例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. Thread对象 Thread类用于表示单独的控制 ...
- 【Python】python初学者应该知道与其他语言差异化的高效编程技巧（附测试代码+详细注释）
目录 1. 交换变量 2. 集合去重 3. 列表推导.集合推导和字典推导 4. 统计字符串中各个字符出现的次数 5.优雅地打印JSON数据 6.行内的if语句 6. 符合正常逻辑的数值比较 7. 田忌 ...
- 如何提高python的运行效率_几个提升Python运行效率的方法之间的对比
在我看来,python社区分为了三个流派,分别是python 2.x组织,3.x组织和PyPy组织.这个分类基本上可以归根于类库的兼容性和速度.这篇文章将聚焦于一些通用代码的优化技巧以及编译成C后性能 ...
- 初识python 教学设计_青岛版八年级《初识Python》教学设计.doc
PAGE PAGE 2 第4课 初识Python教学设计 [教学目标] 1.知识与技能:了解python编程语言起源以及应用,知道python编辑器的常用用法,掌握利用python编写程序的一般步骤. ...
- python 字符串拼接_面试官让用 3 种 python 方法实现字符串拼接 ？对不起我有8种……...
点击上方 蓝字关注我们 点击上方"印象python",选择"星标"公众号重磅干货,第一时间送达!之前发过很多关于 Python 学习的文章,收到大家不少的好评, ...
- python ide 最好_我在iPad上最好的Python IDE
python ide 最好 Having finished my first year at university, and being left with very little to do thi ...
最新文章
- 浅析flex中的焦点focus
- jQuery开发技巧
- 你不得不了解 Helm 3 中的 5 个关键新特性
- EOJ_1082_Virtual Friends
- Bootstrap学习3
- CentOS+lighttpd+php+mysql (fastcgi)环境的搭建（转）
- MSP430F5529 DriverLib 库函数学习笔记（六）定时器A产生PWM波
- java保存登录信息_java – 保存登录详细信息(首选项)android
- Linux Apache服务详解——Apache服务访问控制
- 理解和使用 Unity UI 系统（canvas和CanvasScaler ）
- 计算机英语板卡,数据采集卡
- 遇到的JAVA笔试题
- PuTTY用户手册（一）
- linux上mysql定时备份数据库数据_linux下如何实现mysql数据库每天自动备份定时备份...
- OSChina 周三乱弹 —— who's your 大爷
- 苹果CMSv10插件/本地解析播放器-videojs解析 整合苹果cmsV10程序
- 瑞吉外卖项目：移动端导入用户地址簿与菜品展示功能实现
- EC11旋转编码器驱动程序
- 织梦模板修改方法（转）
- ImmersionBar(状态栏和导航栏)