在我们的工作中,我们使用ddagent ver。5作为收集工具,收集和报告托管服务器的性能指标,并对ddagent进行一定程度的定制。经过多次功能迭代,发现一批在线运行时间长的托管服务器占用了太多内存。分析问题机器上进程树中每个节点的占用情况,可以看出ddagent集合进程的内存占用仍然很高。

我们将学习最基本的流程控制工具,比如

if 条件判断for 循环while 循环

作为保证业务系统稳定运行的监控组件,存在内存泄漏,这自然是非常严重的,所以我们开始了我们的“故障排除之旅”。

if-elif-else 判断

202002241403101.png

分析

有很多工具可以分析和导出Python程序的内存状态。在这里,我们使用pyrasite,它可以附加到正在运行的Python程序,生成内存快照,并检查当前哪些对象类型占用了多少内存,并从大到小排序。

使用命令非常简单: pyrasite-memory-viewer ,同时会生成一份快照文件: /tmp/pyrasite--objects.json。

由于无法提供真实的生产数据,下面提到的所有数据都来自问题版本在测试环境中运行12小时后的采样。

在pyrasite提供的Cui视图中,我们可以清楚地看到字典类型的对象实例占用的内存最多,达到3.4mb,有6621个实例:

202002241403102.png

while 循环

While循环也是一种常见的循环方式。这种循环通常以循环体类或条件方式结束。它不可能无限期地进行下去。

202002241403113.png

对于泄漏情况,我们有以下事实和猜测:

一个或多个位置持续创建空字典对象,并且无法回收它们,从而导致内存泄漏内存泄漏量随时间而增加。在索引收集业务中,泄漏很可能是在每个收集过程中引起的,并在间隔期之后重复触发我们看不到当前依赖的ddagent版本存在尚未关闭的相关问题,这可能是在我们的定制过程中引入的错误

[

[

[".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],

[".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],

[".../modules/monitor/bot/schedule.py",51,"run","task.run()"],

[".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],

[".../modules/monitor/bot/task.py",18,"run","self.check()"],

[".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],

[".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],

[".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],

[".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]

],

[

[".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],

[".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],

[".../modules/monitor/bot/schedule.py",51,"run","task.run()"],

[".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],

[".../modules/monitor/bot/task.py",18,"run","self.check()"],

[".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],

[".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],

[".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],

[".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]

],

[

[".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],

[".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],

[".../modules/monitor/bot/schedule.py",51,"run","task.run()"],

[".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],

[".../modules/monitor/bot/task.py",18,"run","self.check()"],

[".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],

[".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],

[".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],

[".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]

],

...

重播

我们不提“做好设计审查和规范审查”、“加强试验阶段质量检验工作”等“老生常谈”,也值得我们反思。

要彻底防止和控制内存泄漏几乎是不可能的,像rust这样的安全编程语言也不能保证程序不会泄漏内存。

许多引发内存不安全的行为,如数组访问越界、访问释放后的内存等,都可以通过制定更严格的编程模型(如rust提出的所有权+生命周期规则)甚至数据竞争问题来避免。

然而,触发内存泄漏的行为,如竞争条件,需要开发人员将开发组件和业务规则结合起来。设想一个需要手动触发刷新的数据队列。结果,我们在推送数据时忘记调用它。这种内存泄漏无法通过任何常规检查规则来识别。

关键字函数是为了更形象地说明传入参数的位置和具体用法。如果一个函数有四个或五个参数,而且一次传入的参数太多,那么很难让人眼花缭乱。如果key=value用于传入。

总结

通过本节的学习,我们了解了通过if else在不同条件下控制代码流和执行不同代码。for/while和如何定义函数有两种不同的循环方法,包括函数的返回值和参数传递方法、position参数传递和向函数传递参数时的key=value参数传递。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

python流程控制-Python流程控制常用工具详解相关推荐

  1. 【Python入门】Python之OS模块39个常用函数详解

    os,语义操作系统,所以该模块就是操作系统相关的功能了,用于处理文件和目录这些我们日常手动需要做的操作,比如新建文件夹.获取文件列表.删除某个文件.获取文件大小.重命名文件.获取文件修改时间等,该模块 ...

  2. 大数据概述、前世今生、处理流程、学习路线、开发工具详解

    一. 什么是大数据? 大数据是无法使用传统计算技术处理的大型数据集的集合.它不是单一的技术或工具,而是已成为一个完整的主题,涉及各种工具,技术和框架. 全球数据的90%是在最近十年中产生的. 1.1 ...

  3. 【Python入门】Python之shutil模块11个常用函数详解

    shutil 是 Python 中的高级文件操作模块,与os模块形成互补的关系,os主要提供了文件或文件夹的新建.删除.查看等方法,还提供了对文件以及目录的路径操作.shutil模块提供了移动.复制. ...

  4. PHP开发环境与工具笔记,thinkphp开发工具有哪些(常用工具详解)

    在学习php的过程中,肯定少不了开发工具,所以整理了一些常用的php开发工具,给大家分享一下: 1.EditPlus EditPlus是一套功能强大,可取代记事本的文字编辑器,拥有无限制的Undo/R ...

  5. PS长图快速切片_ps基础(PS常用工具详解一)

    本文主要介绍PS工具的使用,大神请跳过,欢迎各位查漏补缺,有疏忽或遗漏还请在订阅号回复,本人看到会处理,谢谢.注意:所有快捷键的使用,请在英文状态下!笔记本在使用快捷键,需要加Fn键.小编用的2019 ...

  6. python的shutil模块是内置的_Python之shutil模块11个常用函数详解,python内置函数是什么...

    Python之shutil模块11个常用函数详解,python内置函数是什么 shutil 是 Python 中的高级文件操作模块,与os模块形成互补的关系,os主要提供了文件或文件夹的新建.删除.查 ...

  7. python控制nao机器人_python控制nao机器人身体动作实例详解

    本文实例为大家分享了python控制nao机器人身体动作的具体代码,供大家参考,具体内容如下 今天读的代码,顺便写了出来,与文档的对比,差不多. import sys import motion im ...

  8. 用python编写nao机器人舞蹈_python控制nao机器人身体动作实例详解

    python控制nao机器人身体动作实例详解 发布时间:2020-10-23 09:18:22 来源:脚本之家 阅读:89 本文实例为大家分享了python控制nao机器人身体动作的具体代码,供大家参 ...

  9. Python包管理工具PIP常用命令详解

    1. PIP安装 目前Python2.7.10以上版本和Python3.3以上版本都已经自带了setuptools及pip,因此不需要额外考虑安装pip,只需要在安装的时候配置好就可以使用. 2. P ...

最新文章

  1. android 回收站设计,android-如何根据屏幕尺寸设置回收站视图项目的宽度尺寸?...
  2. 一句话介绍区块链是什么
  3. 需要掌握的八个CSS布局技巧
  4. 输出200-299之间的所有素数
  5. bootstrap 右对齐样式_Bootstrap的文本处理
  6. Git远程分支的回退
  7. .NET Core 2.0 Preview2 发布汇总
  8. 点对点协议(PPP)
  9. HackingTeam重磅炸弹: 估值超1000万美金带有军火交易性质的木马病毒以及远控源码泄露
  10. 特朗普“能源独立”政策效果存疑
  11. 柯尔莫哥洛夫最后的问题
  12. 用javascript实现一个打乱文字小程序
  13. 二叉搜索树插入算法C#演示的代码
  14. Windows系统基础配置
  15. esxi 虚拟机的控制台上键盘无法输入
  16. Ouroboros Snake POJ - 1392(数位哈密顿回路)
  17. stm32 为什么有二个晶振
  18. 哥谭第一季/全集Gotham迅雷下载
  19. ^v^^v^^v^联系我吧^v^^v^^v^
  20. 国际标准书号 (International Standard Book Number, ISBN)是专门为识别图书等文献而设计的国际编号

热门文章

  1. ES mlockall作用——preventing that memory from being paged to the swap area
  2. splunk 通过rest http导入数据
  3. 字典转json时排序
  4. C语言memmove()函数: 复制内存内容(可以重叠的内存块)
  5. BZOJ 3872 ant colony
  6. 20165219 预备作业3 Linux安装及学习
  7. bzoj1038 [ZJOI2008]瞭望塔
  8. 【转】ubuntu下修改文件夹权限
  9. 推荐系统--揭开推荐的神奇面纱
  10. PHP代码加密 -- php_strip_whitespace函数,去掉源代码所有注释和空格并显示在一行...