一次解决Linux内核内存泄漏实战全过程
责编 | 张红月
来源 | Linux阅码场
2020 年转眼间白驹过隙般飞奔而去,在岁末年初的当口,笔者在回顾这一年程序员世界的大事件后,突然发觉如何避免程序员面向监狱编程是个特别值得一谈的话题。
什么是内存泄漏
程序向系统申请内存,使用完不需要之后,不释放内存还给系统回收,造成申请的内存被浪费。
发现系统中内存使用量随着时间的流逝,消耗的越来越多,例如下图所示:
接下来的排查思路是:
1.监控系统中每个用户进程消耗的PSS (使用pmap工具(pmap pid));
PSS:按比例报告的物理内存,比如进程A占用20M物理内存,进程B和进程A共享5M物理内存,那么进程A的PSS就是(20 - 5) + 5/2 = 17.5M;
2.监控/proc/meminfo输出,重点观察Slab使用量和slab对应的/proc/slabinfo信息;
3.参考/proc/meminfo输出,计算系统中未被统计的内存变化,比如内核驱动代码;
直接调用alloc_page()从buddy中拿走的内存不会被单独统计。
以上排查思路分别对应下图中的1,2,3 :
在排查的过程中发现系统非常空闲,都没有跑任何用户业务进程。
其中在使用slabtop监控slab的使用情况时发现size-4096 不停增长
通过监控/proc/slabinfo也发现SReclaimable 的使用量不停增长
while true;
do
sleep 1 ;
cat /proc/slabinfo >> /tmp/slabinfo.txt ;
echo "===" >> /tmp/slabinfo.txt ;
done
由此判断很可能是内核空间在使用size-4096 时发生了内存泄漏。
接下来使用trace event(tracepoint)功能来监控size-4096的使用和释放过程,主要用来跟踪kmalloc()和kfree()函数对应的trace event, 因为他们的trace event被触发之后会打印kmalloc()和kfree()所申请和释放的内存地址,然后进一步只过滤申请4096字节的情况。
#trace-cmd record -e kmalloc-f 'bytes_alloc==4096' -e kfree -T
(-T 打印堆栈)
等待几分钟之后…
#ctrl ^c 中断trace-cmd
#trace-cmd report
以上步骤相当于:
等待几分钟之后…
#cp /sys/kernel/debug/tracing/trace_pipe /tmp/kmalloc-trace
从trace-cmd report的输出结果来看,很多kmalloc 对应的ptr值都没有kfree与之对应的ptr值
这就说明了cat进程在内核空间使用size-4096之后并没有释放,造成了内存泄漏。
为了进一步精确定位到是使用哪个内核函数造成的问题,此时手动触发vmcore。
#echo c > /proc/sysrq-trigger
然后使用crash工具分析vmcore:
#crash ./vmcore ./vmlinux.debug
读出上面kmalloc申请的ptr内存信息
(读取0xffff880423744000内存开始的4096个字节,并以字符形式显示)
发现从上面几个ptr内存中读出的内容都是非常相似,仔细看一下发现都是/proc/schedstat 的输出内容。
通过阅读相关代码发现,当读出/proc/schedstat内容之后,确实没有释放内存。
然后发现kernel上游已经有patch解决了这个问题:
commit: 8e0bcc722289
fix a leak in /proc/schedstats
在第 111 个女神节到来之际,CSDN 向所有技术女神致敬!并特邀产学研界的技术女神代表,共同探讨女性开发者的职业发展机遇与挑战,助力更多程序媛谱写精彩的程序人生。
☞华为高管否认养猪传闻;苹果上架翻新版 M1 MacBook;ASML 澄清中芯国际购买协议 | 极客头条☞CTO 写低级 Bug,致公司 70 GB 数据遭泄露!
☞再见!经典版Edge!
☞Google 重磅发布 Flutter 2 !一套代码横扫 5 大系统
一次解决Linux内核内存泄漏实战全过程相关推荐
- 海思linux内核 太大,一次解决Linux内核内存泄漏实战全过程
责编 | 张红月 来源 | Linux阅码场 2020 年转眼间白驹过隙般飞奔而去,在岁末年初的当口,笔者在回顾这一年程序员世界的大事件后,突然发觉如何避免程序员面向监狱编程是个特别值得一谈的话题. ...
- LINUX内核内存屏障
================= LINUX内核内存屏障 ================= By: David Howells <dhowells@redhat.com> Paul E ...
- Linux内核内存管理(3):kmemcheck介绍
Linux内核内存管理 kmemcheck介绍 rtoax 2021年3月 在英文原文基础上,针对中文译文增加5.10.13内核源码相关内容. 5.10.13不存在kmemcheck的概念,取代的是k ...
- Linux下内存泄漏定位方法
Linux下内存泄漏可分为用户空间的内存泄漏和内核空间的内存泄漏. 用户空间内存泄漏的查找方法: 第一步,查找内存泄漏的应用程序. 首先,写一个简单的内存泄漏程序(每秒钟泄漏4MB)umemleak. ...
- linux内核源码实战_3.2理解设备驱动和文件系统
linux内核源码实战_3.2理解设备驱动和文件系统 linux内核源码实战_理解设备驱动和文件系统 理解设备驱动和文件系统 理解设备驱动和文件系统详解 7-文件系统-proc文件系统实现 总结 li ...
- Linux内核内存管理:地址转换和MMU
地址转换和MMU 虚拟内存是一个概念,是给进程的一种错觉,因此它认为自己拥有巨大的.几乎无限的内存,有时甚至比系统实际拥有的内存还要多.每次访问内存位置时,由CPU将虚拟地址转换为物理地址.这种机制称 ...
- linux 内核内存管理
物理内存 相关数据结构 page(页) Linux 内核内存管理的实现以 page 数据结构为核心,其他的内存管理设施都基于 page 数据结构,如 VMA 管理.缺页中断.RMAP.页面分配与回收等 ...
- 【Linux】解决Linux服务器内存不足问题
[Linux]解决Linux服务器内存不足问题 参考文章: (1)[Linux]解决Linux服务器内存不足问题 (2)https://www.cnblogs.com/haochuang/p/1191 ...
- 【Linux 内核 内存管理】虚拟地址空间布局架构 ③ ( 内存描述符 mm_struct 结构体成员分析 | mmap | mm_rb | task_size | pgd | mm_users )
文章目录 一.mm_struct 结构体成员分析 1.mmap 成员 2.mm_rb 成员 3.get_unmapped_area 函数指针 4.task_size 成员 5.pgd 成员 6.mm_ ...
最新文章
- 将十六进制的字符串转换成整数
- python 中cookie_Python 处理Cookie的菜鸟教程(一)Cookie库
- 全球及中国碳纤维风电叶片市场投资分析与运营潜力预测报告2021-2027年
- 用.net4中的DynamicObject实现简单AOP
- 型热电偶阻值温度对照表_如何选用温度传感器
- boost::proto模块实现在外部指定转换的示例的测试程序
- [补档]暑假集训D2总结
- 如何根据一个ABAP类方法的名称反差到类名称
- Linux命令工作中常用的总结
- python保存运行结果下次使用_将python运行结果保存至本地文件中的示例讲解
- Linux系统信息与系统资源
- 《Android应用开发攻略》——2.2 异常处理
- 信息学奥赛一本通C++语言——1030: 计算球的体积
- 计算机网络学习笔记(24. HTTP消息格式)
- [RMAN]数据文件的恢复
- MATLAB强化学习入门——三、深度Q学习与神经网络工具箱
- react axios封装
- IAU SOFA 软件包介绍
- Win10有哪些方便快捷的操作小技巧?
- 数据结构(主席树,Bit):XTU 1247/COGS 2344. pair-pair
热门文章
- QQ群一键加群代码调用官方API
- L2TP连接尝试失败,因为安全层在初始化与远程计算机的协商时遇到一个处理错误...
- 关于scanf 与 cin gets(),getline()......输入输出字符串的区别
- selenium与chromedriver的操作
- 3 HTMLJS等前端知识系列之javascript的基础
- 最全的常用正则表达式大全
- Fill-倒水问题(Uva-10603-隐式图路径寻找问题)
- java单元测试笔记
- Postresql初始安装后用户的创建
- [论文阅读] Looking for the Detail and Context Devils: High-Resolution Salient Object Detection