python 内存溢出_python之记录一次内存溢出

问题现象

手头一个系统上线后，节点机中agent应用在运行10天后，占用系统内存居然高达10GB以上，这显然是发生了严重内存泄露。

问题原因

python是动态语言，对用动态语言的内存分析不是很容易，尝试了一下比较经典的内存分析工具meliae，但是发现不是很好用。查了很多资料后，发现了 https://github.com/pympler/pympler 这个工具，官方文档地址为：

具体的分析过程我就不在这里描述了，大家可以通过pympler的官方文档去尝试。

在跟踪分析后，发现agent代码中的ProgressThread在一直增长，没有被释放。相关代码如下：

progress_thread = ProgressThread(vid, segments, master_urls, self.hostname)

progress_thread.setDaemon(True)

progress_thread.start()

self.progress_threads.append(progress_thread)

可以看到，在类对象中，progress_threads这个列表，每次创建一个ProgressThread线程对象时，就会把对象插入到progress_threads列表中。

python的垃圾回收机制中，会自动对引用计数为0的对象回收。这里每次创建的线程对象，都被插入到progress_threads中，这导致了即使线程运行完毕了，其引用计数一直为1，导致所有的线程对象无法被回收。

问题解决

知道了问题原因，就很好解决了。在线程退出的地方，加入如下一行代码

if progress_thread.if_stop == True:

self.progress_threads.remove(progress_thread)

让线程对象的引用计数为0，就解决了这个问题。

python 内存溢出_python之记录一次内存溢出相关推荐

python 内存溢出能捕获吗_python之记录一次内存溢出
问题现象手头一个系统上线后,节点机中agent应用在运行10天后,占用系统内存居然高达10GB以上,这显然是发生了严重内存泄露. 问题原因 python是动态语言,对用动态语言的内存分析不是很容易, ...
python多线程并发_Python进阶记录之基础篇（二十四）
回顾在Python进阶记录之基础篇(二十三)中,我们介绍了进程的基本概念以及Python中多进程的基本使用方法.其中,需要重点掌握多进程的创建方法.进程池和进程间的通信.今天我们讲一下Python中 ...
python申请内存函数_Python Ctypes c函数的内存分配
我现在有一个python回调函数,它使用ctypes库调用c函数.c函数需要一个指向一个结构的指针,例如animal_info_s,我实例化了这个结构并将它作为指向c函数的指针传递,它就可以工作了.我 ...
python解题教学_Python解题记录第10题
[本文结构]题目信息:来源.地址.序号.描述题目答案:简要分析,程序代码(测试运行通过,含注释),运行结果霍霍磨刀:解答这道题目之前应掌握的知识基础解析过程:题目类型,分析以及实践过程斩获成果 ...
python 获取内存使用率_Python获取CPU使用率、内存使用率、网络使用状态 | 学步园...
注:需要安装psutil库源代码如下: #!/usr/bin/env python # # $Id: iotop.py 1160 2011-10-14 18:50:36Z g.rodola@gmai ...
python socket编程_Python学习记录-socket编程
1. OSI七层模型详解 2. Python socket 什么是 Socket? Socket又称"套接字",应用程序通常通过"套接字"向网络发出请求或者应答 ...
用python画糖葫芦_python学习记录六
返回函数 def calc_sum(*args): ax=0for n inargs: ax= ax +nreturn ax def lazy_sum(*args): def sum(): ax = ...
用python画糖葫芦_python学习记录四
切片取一个list或者tuole得部分元素都是非常常见得操作比如说一个list如下: >>> L = ['Michael','Sarah','Tracy','Bob','Jack ...
python多进程内存共享_Python—并发编程04多进程内存共享,python,间,的
Manaegr实现数据共享导入 :from multiprocessing import Manager 实例化:m= Manager() num = m.dict( {键 : 值} ) num ...

python 内存溢出_python之记录一次内存溢出

python 内存溢出_python之记录一次内存溢出相关推荐

最新文章

热门文章