python processpoolexector 释放内存_使用Python的multiprocessing.pool,内存使用量不断增长...

这是程序：

#!/usr/bin/python

import multiprocessing

def dummy_func(r):

pass

def worker():

pass

if __name__ == '__main__':

pool = multiprocessing.Pool(processes=16)

for index in range(0,100000):

pool.apply_async(worker, callback=dummy_func)

# clean up

pool.close()

pool.join()

我发现内存使用(包括VIRT和RES)一直持续到close()/ join(),有没有解决方法摆脱这个？我用2.7尝试了maxtasksperchild,但它也没有帮助.

我有一个更复杂的程序,调用apply_async()〜6M次,并且在~1.5M点我已经有6G RES,为了避免所有其他因素,我将程序简化为以上版本.

编辑：

原来这个版本效果更好,感谢大家的意见：

#!/usr/bin/python

import multiprocessing

ready_list = []

def dummy_func(index):

global ready_list

ready_list.append(index)

def worker(index):

return index

if __name__ == '__main__':

pool = multiprocessing.Pool(processes=16)

result = {}

for index in range(0,1000000):

result[index] = (pool.apply_async(worker, (index,), callback=dummy_func))

for ready in ready_list:

result[ready].wait()

del result[ready]

ready_list = []

# clean up

pool.close()

pool.join()

我没有放任何锁,因为我认为主进程是单线程的(回调或多或少像我读过的每个文档的事件驱动的东西).

我将v1的索引范围更改为1,000,000,与v2相同并进行了一些测试 – 这对我来说很奇怪v2甚至比v1快〜10％(33s vs 37s),也许v1做了太多的内部列表维护工作. v2绝对是内存使用的赢家,它从未超过300M(VIRT)和50M(RES),而v1曾经是370M / 120M,最好是330M / 85M.所有数字仅为3~4次测试,仅供参考.

python processpoolexector 释放内存_使用Python的multiprocessing.pool,内存使用量不断增长...相关推荐

python查看运行内存占用_利用Python如何实时检测自身内存占用
前言最近在做文本统计,用 Python 实现,遇到了一个比较有意思的难题--如何保存统计结果. 直接写入内存实在是放不下,十几个小时后内存耗尽,程序被迫关闭.如果直接写入数据库吧,每次写入又太慢了, ...
linux下运行python程序如何控制内存_用Python实现Linux系统占用指定内存，CPU满载，服务器压力测试,场景设计...
背景提出两个需求占满系统CPU 占用大内存通过上网查资料,做实验使用Python实现了上述两个需求. 先看效果执行前内存 CPU 执行后内存 CPU 代码实现环境说明:代码使用Pytho ...
python变量存储堆与栈内存内存_浅析JS中的堆内存与栈内存
最近跟着组里的大佬面试碰到这么一个问题, Q:说说var.let.const的区别 A:balabalabalabla... Q:const定义的值能改么? A:你逗我?不能吧不知道各位看官怎么想? ...
python list存储对象_《python解释器源码剖析》第4章--python中的list对象
4.0 序 python中的list对象,底层对应的则是PyListObject.如果你熟悉C++,那么会很容易和C++中的list联系起来.但实际上,这个C++中的list大相径庭,反而和STL中的 ...
python核心语法题_《Python核心编程》第3章笔记
语句和语法 # Python注释 \ 继续上一行(有两种例外情况一个语句不能使用反斜杠也可以跨行.在使用闭合操作符时,单一语句可以跨多行,例如:在含有小括号.中括号.花括号时可以多行书写.另外就是三引 ...
python语言面试基础_【python面试指北】1.语言基础
1. python是动态强类型的语言. 动态还是静态指的是编译器还是运行期确定类型强类型指的是不会发生隐式类型转换.比如js能够执行1+"1",但是python不行,所以pyth ...
python 清空所有对象_学习python第38天
今天分享一下python的内存管理和隔代回收对象的内存使用赋值语句是语言最常见的功能了.但即使是最简单的赋值语句,也可以很有内涵.Python的赋值语句就很值得研究. a = 1 整数1为一个对象 ...
以下选项中python用于异常处理结构_《Python 程序设计》复习题
目录填空题一.基础知识二.序列三.选择结构与循环结构和函数及面向对象.文件选择题一.Python 基础语法二.基本数据类型三.程序的控制结构四.函数和代码复用五.组合数据类型六. ...
python程序运行原理_谈谈 Python 程序的运行原理
因为我的个人网站 restran.net 已经启用,博客园的内容已经不再更新.请访问我的个人网站获取这篇文章的最新内容,谈谈 Python 程序的运行原理这篇文章准确说是『Python 源码剖析』的 ...

python processpoolexector 释放内存_使用Python的multiprocessing.pool,内存使用量不断增长...

python processpoolexector 释放内存_使用Python的multiprocessing.pool,内存使用量不断增长...相关推荐

最新文章

热门文章