前言

多进程能够在不同的CPU核心上并行运行任务，可以绕过用于线程的GIL。
多进程：更适合密集计算相关任务（cpu使用率高）。
多线程：更好地处理与IO相关的任务。

实践

我们来实现一个数据求和的功能，例如从0加到100000000。首先我们使用单个进程进行计算：

from multiprocessing import Process, cpu_count
import time
result = {}
def counter(num_1, num_2, name):count = 0for i in range(num_1, num_2):count += iresult[name] = countprint(result)def main():a = Process(target=counter, args=(0, 100000000, '进程1'))a.start()a.join()print('运行耗时: {} 秒'.format(time.perf_counter()))if __name__ == '__main__':main()
>>> {'进程1': 4999999950000000}
>>> 运行耗时: 13.5747503 秒

接下来我们使用两个进程进行计算：

from multiprocessing import Process, cpu_count
import time
result = {}
def counter(num_1, num_2, name):count = 0for i in range(num_1, num_2):count += iresult[name] = countprint(result)def main():a = Process(target=counter, args=(0, 50000000, '进程1'))a.start()b = Process(target=counter, args=(50000000, 100000000, '进程2'))b.start()a.join()b.join()print('运行耗时: {} 秒'.format(time.perf_counter()))if __name__ == '__main__':main()
>>> {'进程1': 1249999975000000}
>>> {'进程2': 3749999975000000}
>>> 运行耗时: 9.9812741 秒

接下来我们尝试跑满所有的CPU核心：

from multiprocessing import Process, cpu_count
import time
result = {}
def counter(num_1, num_2, name):count = 0for i in range(num_1, num_2):count += iresult[name] = countprint(result)def main():print(cpu_count())  # 计算本机的CPU核心数目a = Process(target=counter, args=(0, 25000000, '进程1'))a.start()b = Process(target=counter, args=(25000000, 50000000, '进程2'))b.start()c = Process(target=counter, args=(50000000, 75000000, '进程3'))c.start()d = Process(target=counter, args=(75000000, 100000000, '进程4'))d.start()a.join()b.join()c.join()d.join()print('运行耗时: {} 秒'.format(time.perf_counter()))if __name__ == '__main__':main()
>>> 4
>>> {'进程3': 1562499987500000}
>>> {'进程1': 312499987500000}
>>> {'进程2': 937499987500000}
>>> {'进程4': 2187499987500000}
>>> 运行耗时: 5.9548173 秒

发现当跑满所有的CPU核心时速度是最快的（并不是越多越好哦，再多的话速度反而慢了），所以我们一般设定多进程的进程数目为CPU的核心数目

Python编程基础：第六十节多进程Multiprocessing相关推荐

Python编程基础：第二十节函数Function
第二十节函数Function 前言实践前言目前为止,我们已经学习了常见的数据类型以及逻辑结构.但是代码都只能运行一次,如果想多次运行该段代码就得重复写多次.为了避免书写冗余的代码,我们需要引入 ...
Python编程基础：第十节 while循环While Loops
第十节 while循环While Loops 前言实践前言如果你需要计算机反复执行某个代码段,你就需要用到while循环,while循环的结构如下: while 判断1:代码段1 当判断1为Tr ...
Python编程基础：第十六节元组Tuple
第十六节元组Tuple 前言实践前言我们这一节来学习一个与列表非常相似的数据结构--元组.需要注意的是元组定义好以后,其中的元素是不能改变的,并且所有元素是有序排列的, 实践我们先来创建一个 ...
Python编程基础：第二十六节 kwargs参数**kwargs
第二十六节 kwargs参数**kwargs 前言实践前言上一节我们尝试传入任意多的参数,我们这一节来学习传入任意多具有参数名称的参数.kwargs参数将用户传入的参数打包为字典传入函数中用于进 ...
Python编程基础：第二十九节异常Exception
第二十九节异常Exception 前言实践前言我们在写代码时不可避免地会出错,这时候编译器便会抛出异常并中断程序的执行.针对这种情况,我们可以采用异常处理的方式捕捉程序中的异常信息,并将异常信 ...
Python编程基础：第二十五节 args参数*args
第二十五节 args参数*args 前言实践前言我们目前学习到的函数的参数个数都是固定的,那么我们是否可以指定任意多个参数呢?其实是可以的,这里就用到了args参数,它可以将用户指定的任意多个参 ...
Python编程基础：第二十四节作用域Scope
第二十四节作用域Scope 前言实践前言在Python中每一个变量都有其自己的生命周期,我们一般将变量分为全局变量与局部变量,全局变量是指在整个代码内部都可以访问到的变量,局部变量是指只有在函 ...
Python编程基础：第十九节索引Index Operator
第十九节索引Index Operator 前言实践前言我们在字符串学习过程中已经接触过索引的相关内容,我们在这里做一个小结,Python中的索引分为两部分,一种是从左向右,从0开始依次递增,例 ...
Python编程基础：第十五节二维列表2D Lists
第十五节二维列表2D Lists 前言实践前言列表中的元素可以是任何形式,整型.浮点型.字符串型,甚至是一个列表.当列表的元素也是列表时,我们将其称为二维列表. 实践我们先来创建多个一维列表 ...

Python编程基础：第六十节多进程Multiprocessing

第六十节多进程Multiprocessing

前言

实践

Python编程基础：第六十节多进程Multiprocessing相关推荐

最新文章

热门文章

Python编程基础：第六十节 多进程Multiprocessing

第六十节 多进程Multiprocessing

前言

实践

Python编程基础：第六十节 多进程Multiprocessing相关推荐

最新文章

热门文章

Python编程基础：第六十节多进程Multiprocessing

第六十节多进程Multiprocessing

Python编程基础：第六十节多进程Multiprocessing相关推荐