python 内存溢出能捕获吗_python之记录一次内存溢出

问题现象

手头一个系统上线后，节点机中agent应用在运行10天后，占用系统内存居然高达10GB以上，这显然是发生了严重内存泄露。

问题原因

python是动态语言，对用动态语言的内存分析不是很容易，尝试了一下比较经典的内存分析工具meliae，但是发现不是很好用。查了很多资料后，发现了外链网址已屏蔽这个工具，官方文档地址为：

具体的分析过程我就不在这里描述了，大家可以通过pympler的官方文档去尝试。

在跟踪分析后，发现agent代码中的ProgressThread在一直增长，没有被释放。相关代码如下：

progress_thread = ProgressThread(vid, segments, master_urls, self.hostname)

progress_thread.setDaemon(True)

progress_thread.start()

self.progress_threads.append(progress_thread)

可以看到，在类对象中，progress_threads这个列表，每次创建一个ProgressThread线程对象时，就会把对象插入到progress_threads列表中。

python的垃圾回收机制中，会自动对引用计数为0的对象回收。这里每次创建的线程对象，都被插入到progress_threads中，这导致了即使线程运行完毕了，其引用计数一直为1，导致所有的线程对象无法被回收。

问题解决

知道了问题原因，就很好解决了。在线程退出的地方，加入如下一行代码

if progress_thread.if_stop == True:

self.progress_threads.remove(progress_thread)

让线程对象的引用计数为0，就解决了这个问题。

python 内存溢出能捕获吗_python之记录一次内存溢出相关推荐

python 内存溢出能捕获吗_Python内存泄漏和内存溢出的解决方案
一.内存泄漏像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题. 对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是 ...
python里面的类和对象_Python中类和对象在内存中是如何保存？
类以及类中的方法在内存中只有一份,而根据类创建的每一个对象都在内存中需要存一份,大致如下图: 如上图所示,根据类创建对象时,对象中除了封装 name 和 age 的值之外,还会保存一个类对象指针,该值 ...
python 内存溢出_python之记录一次内存溢出
问题现象手头一个系统上线后,节点机中agent应用在运行10天后,占用系统内存居然高达10GB以上,这显然是发生了严重内存泄露. 问题原因 python是动态语言,对用动态语言的内存分析不是很容易, ...
python获取文件修改时间错误_python错误记录
raise ImproperlyConfigured("Error loading MySQLdb module: %s" % e) django.core.exceptions. ...
python报错输出到日志_Python日志记录和子进程输出和错误流
基于Adam Rosenfield's code,你可以 >使用select.select来阻止,直到有要读取的输出 proc.stdout或proc.stderr, >然后读取并记录该输 ...
什么是python语言的动态类型机制_python的内存管理机制
一.python是一个什么样类型的语言 1.python是一种动态解释性强类型定义的高级.通用性编程语言. 解释型:执行的时候,才一条一条的解释成机器语言给计算机来执行.如:python.js.rub ...
python内存管理错误的是_Python内存管理机制
俗话说,出来混早晚要还的,Python还有很多知识点没有总结成博客,欠了太多,先还一部分吧 1. Python对象的内存使用内存管理是语言设计的一个重要方面.它是决定语言性能的重要因素.无论是C语言 ...
python中画糖葫芦的代码_Python中的内存管理
内存管理包括: ①变量无须事先声明,变量无须指定类型 ②引用计数 ③垃圾回收 ④内存池机制 ①变量定义不用事先声明变量类型而直接对变量进行赋值.对Python语言来讲,对象的类型和内存都是在运行时 ...
0x00000000指令引用的内存不能为written_「深入Java虚拟机」Java内存区域与内存溢出...
内存区域 Java虚拟机在执行Java程序的过程中会把他所管理的内存划分为若干个不同的数据区域.Java虚拟机规范将JVM所管理的内存分为以下几个运行时数据区:程序计数器.Java虚拟机栈.本地方法栈 ...

python 内存溢出能捕获吗_python之记录一次内存溢出

python 内存溢出能捕获吗_python之记录一次内存溢出相关推荐

最新文章

热门文章