python多进程实现CPU100%使用

由于昨天的回顾了一些多线程方面的事儿，在群里问了问题：是否可以通过一个脚本控制八个以上的脚本，实现部分资源共享，从而实现八核cpu的100%使用

学习之后，受益颇深。对python的又产生了新的认识

ProcessPoolExecutor介绍如下

它使用进程池来异步地执行调用。 ProcessPoolExecutor 会使用 multiprocessing 模块，这允许它绕过 全局解释器锁(GIL) 但也意味着只可以处理和返回可封存的对象。

multiprocessing介绍如下

multiprocessing 是一个支持使用与 threading 模块类似的 API 来产生进程的包。 multiprocessing 包同时提供了本地和远程并发操作，通过使用子进程而非线程有效地绕过了 全局解释器锁。 因此，multiprocessing 模块允许程序员充分利用给定机器上的多个处理器。 它在 Unix 和 Windows 上均可运行。

ProcessPoolExecutor实现了文章头部所提问题。通过这种方法，我们可以绕过GIL的限制，实现机器的高效利用，即使遇到CPU密集型的问题任务我们也能轻松解决

下面我从官网抄了段代码，稍加注释后进行参数说明

import concurrent.futures

import math

import time

PRIMES = [

112272535095293,

112582705942171,

112272535095293,

115280095190773,

115797848077099,

1099726899285419]

def is_prime(n):

if n < 2:

return False

if n == 2:

return True

if n % 2 == 0:

return False

sqrt_n = int(math.floor(math.sqrt(n)))

for i in range(3, sqrt_n + 1, 2):

if n % i == 0:

return False

return True

def aa():

print('我被调用了')

def main():

# max_workers进程数量为2，不填的话默认最猛,默认61

with concurrent.futures.ProcessPoolExecutor(max_workers=10, initializer=aa()) as executor:

# chunksize使用1个线程，timeout超时没完成抛出异常

# is_prime此处用了一个变量,加入多个变量可以采用将PRIMES[0] = [变量1，变量2]，然后去is_prime修改相应代码根据映射关系修改

for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES, timeout=5, chunksize=1,)):

print('%d is prime: %s' % (number, prime))

if __name__ == '__main__':

main()

程序中，首先定义了一个需要大量计算的函数is_prime，然后在主函数修改一些参数，此时应该打开任务管理器查看cpu占用，点击CPU字眼让其按CPU占用率排序，方便查看

max_workers修改为1时，我得pycharm的cpu占用大约为15左右，max_workers修改为5时，我得pycharm的cpu占用大约为33左右，这说明了我们的这个参数是程序启动的python进程数量

chunksize修改为1和1000进行对比，发现二者的cpu占用基本没有什么变化，这说明我们这个是每个进程开启的线程数量(我的理解)，官网有详细介绍，如下

# 使用 ProcessPoolExecutor 时，

# 这个方法会将 iterables 分割任务块并作为独立的任务并提交到执行池中。

# 这些块的大概数量可以由 chunksize 指定正整数设置。

# 对很长的迭代器来说，使用大的 chunksize 值比默认值 1 能显著地提高性能。

其中的executor.map介绍如下

# map(func, *iterables, timeout=None, chunksize=1)

# 类似于 map(func, *iterables) 函数，除了以下两点：

# iterables 是立即执行而不是延迟执行的；

# func 是异步执行的，对 func 的多个调用可以并发执行。

看到cpu100%运行竟然有些欣慰？

当然了，使用map函数貌似不是很舒服，还得回去看看multiprocessing的原理和使用

话说到这，哪个广告说7天入门python，出来解释一下multiprocessing是啥玩意？