python进程数上限_python – 使用具有最大同时进程数的multipr...

使用multiprocessing.Pool可能是最明智的.Pool根据系统上可用的最大内核数量生成一个工作进程池,然后在内核可用时基本上提供任务.

from multiprocessing import Pool

def f(x):

return x*x

if __name__ == '__main__':

pool = Pool(processes=4) # start 4 worker processes

result = pool.apply_async(f, [10]) # evaluate "f(10)" asynchronously

print result.get(timeout=1) # prints "100" unless your computer is *very* slow

print pool.map(f, range(10)) # prints "[0, 1, 4,..., 81]"

并且,如果您的代码需要,还可以使用multiprocessing.cpu_count()方法来计算给定系统上的核心数量,这也很方便.

编辑：这是一些似乎适用于您的特定情况的草稿代码：

import multiprocessing

def f(name):

print 'hello', name

if __name__ == '__main__':

pool = multiprocessing.Pool() #use all available cores, otherwise specify the number you want as an argument

for i in xrange(0, 512):

pool.apply_async(f, args=(i,))

pool.close()

pool.join()

python进程数上限_python – 使用具有最大同时进程数的multipr...相关推荐

python多进程存储数据_python – 多进程还是多线程？ – 并行化数百万次迭代的简单计算并将结果存储在单个数据结构中...
第一个选项 – 服务器进程创建服务器进程.它是Multiprocessing包的一部分,允许并行访问数据结构.这样,每个进程都将直接访问数据结构,锁定其他进程. Server process A m ...
python并发处理list数据_python之并发基础（进程）
今日内容: 操作系统发展史多道技术进程理论开启进程的两种方式进程对象的join方法进程之间数据的相互隔离进程对象的其他方法僵尸进程和孤儿进程守护进程互斥锁队列介绍进程间通信IPC ...
linux普通用户句柄数上限,linux系统下的用户文件句柄数限制
为什么要修改用户打开的文件数系统默认单个进程可以打开1024个文件,对于一些应用如tomcat.oracle等,运行时经常open成千上万个文件,系统管理员需根据系统上运行的应用需求,修改系统文件数 ...
python进程数上限_python如何控制进程或者线程的个数
背景日常开发中,难免遇到并发场景,而并发场景难免需要做流量控制,即需要对并发的进程或者线程的总量进行控制. 今天简单总结两种常用的控制线程个数的方法. 方法一:进程池/线程池如下例demo所示, ...
python线程池并发_python 并发编程多线程之进程池/线程池
一.验证GIL锁的存在 Python在设计之初就考虑到要在主循环中,同时只有一个线程在执行.虽然 Python 解释器中可以"运行"多个线程,但在任意时刻只有一个线程在解释器中运行 ...
python运维方法_Python运维开发基础09-函数基础【转】
上节作业回顾 #!/usr/bin/env python3#-*- coding:utf-8 -*-#author:Mr.chen#实现简单的shell命令sed的替换功能 importsys,os ...
python 分析外汇数据_Python/Pandas如何存储外汇勾数数据进行分析
我曾经玩过一些现金股票的逐点数据(最高30%的流动性股票,每天超过500万的记录).下面是我使用chunksize和hdf5处理文件读取问题的策略.在import pandas as pd # thi ...
python 进程间同步_python之路29 -- 多进程与进程同步（进程锁、信号量、事件）与进程间的通讯（队列和管道、生产者与消费者模型）与进程池...
所谓异步是不需要等待被依赖的任务完成,只是通知被依赖的任务要完成什么工作,依赖的任务也立即执行,只要自己完成了整个任务就算完成了.至于被依赖的任务最终是否真正完成,依赖它的任务无法确定,所以它是不可靠 ...
python线程池模块_python并发编程之进程池，线程池，协程
需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉只要你用并发,就会有锁的问题,但是你不能一直去 ...

python进程数上限_python – 使用具有最大同时进程数的multipr...

python进程数上限_python – 使用具有最大同时进程数的multipr...相关推荐

最新文章

热门文章