python3 多进程 multiprocessing对僵尸进程的处理
之所以想写这么一篇博客,是在学TCP/IP网络编程时,讲到多进程服务器的构建时,父进程需要对子进程进行处理,不然的话会产生一堆的僵尸进程,最后会危害整个系统。然后想到我之前写的爬虫,Dwonloader
使用的就是多进程的方式来并发下载数据。在Downloader
中,我的做法是凑够一定数量的请求,然后开启一个进程,让这个进程去处理这堆请求。而我只开启了进程,并没有去管理这些进程,突然有点心慌慌,这个bug
可能会让我的系统崩溃。
代码一
将Downloader
的代码抽象出来,会是如下所示:
import multiprocessing as mp
import os
import timedef work():print ("os.pid is ", os.getpid())if __name__ == '__main__':print ("parent ", os.getpid())while True:p = mp.Process(target = work)p.start()time.sleep(1)
主进程的while(True)
表示源源不断的的请求,其中的sleep
是为了不太快产生大量进程,work
就是负责处理请求的进程。
代码非常简单,原本以为,这样跑那么一会儿,会产生一大摞的僵尸进程。但查看了系统的进程后,发现如下图所示,并没有产生大量的僵尸进程丫。
从图中可以看出,每次都仅仅只有一个僵尸进程,再次查看的时候,会发现其已经被解决掉了,换成了另一个僵尸进程。顿时就有点凌乱了。
代码二
所以尝试用C写了另一段代码,如下
#include <stdio.h>
#include <stdlib.h>
#include <signal.h>int main()
{pid_t pid;while (1){pid = fork();if (pid < 0){puts("fock error");exit(1);}else if(pid == 0){printf("I am a Child Process, pid is %d.\n", getpid());sleep(1);exit(1);}elsesleep(3);}return 0;
}
这段代码却能够产生一大堆的僵尸进程,如下图所示:
如图,可以发现确实是产生了大量的僵尸代码。
代码三
所以初步我是怀疑python
会自动的对僵尸进程进行清理,所以就顺手又写了下面的代码。然而问题又出乎我的意料。
from multiprocessing import Process
import os
import timedef run():print ("pid is ", os.getpid())p = Process(target = run)
p.start()
time.sleep(100)
这段代码,产生了一个僵尸进程,一直卡在那里,并没有被清理掉。如下图:
原因
这个问题困扰了我一天,然后放到segmentfault上问了下,也算是找到了正确答案,所以在此记录下来。
结论是,multiprocessing
确实会自动的对僵尸进程进行处理,python
真的就是方便,很多细节的东西各种第三方的库就已经帮你考虑好了,我们只需要去解决逻辑问题就可以了。
Process
这个类继承于BaseProcess
,该文件位于Lib\multiprocessing\process.py
.
子进程的start
方法代码如下
_children = set()def start(self):'''Start child process'''assert self._popen is None, 'cannot start a process twice'assert self._parent_pid == os.getpid(), \'can only start a process object created by current process'assert not _current_process._config.get('daemon'), \'daemonic processes are not allowed to have children'_cleanup()self._popen = self._Popen(self)self._sentinel = self._popen.sentinel_children.add(self)
代码中的_children
是一个集合,其中包含的就是父进程所产生的子进程集合,保存着所有BaseProcess
实例,该函数最后的_children.add(self)
将当前进程对方(即所创建的子进程)添加到集合中。
注意到其中的_cleanup()
函数,这个函数就是用于清理僵尸进程的关键函数了。
def _cleanup():# check for processes which have finishedfor p in list(_children):if p._popen.poll() is not None:_children.discard(p)
初步看这个函数,实现非常的简单。刚开始看这个函数的时候,感觉仅仅是将该子进程从子进程集合中删去,并没有对其进行处理工作。后来在回答者的提示下找到了原因,处理的工作是在poll
函数中进行的,处理完了再将其删除。
所以我们找到multiprossing/popen_fork.py
这个问题,该文件中的Popen
有着该函数的实现,代码如下:
def poll(self, flag=os.WNOHANG):if self.returncode is None:while True:try:pid, sts = os.waitpid(self.pid, flag)except OSError as e:# Child process not yet created. See #1731717# e.errno == errno.ECHILD == 10return Noneelse:breakif pid == self.pid:#如果进程由于信号而退出,则返回True,否则返回False。if os.WIFSIGNALED(sts):# 返回导致进程退出的信号,这里不是很理解为什么要返回一个相反数self.returncode = -os.WTERMSIG(sts)else:#如果进程是以exit()方式退出的,则返回True,否则返回False。assert os.WIFEXITED(sts)#返回exit退出时候的调用的参数,否则返回值是未定义的self.returncode = os.WEXITSTATUS(sts)return self.returncode
其中关于python
中os
模块的各类参数作用,可以参考这篇博客,讲的也是比较透彻清楚。
对于_children
中的每一个进程,都会调用该函数进行处理。在该函数的pid, sts = os.waitpid(self.pid, flag)
,因为flag
设置为os.WNOHANG
,所以会不阻塞的判断该进程时候已经死亡。如果该进程没死亡,直接就返回一个None
。否则会返回其返回码。但是该返回码在我们这里并没有什么太大价值,我们知道其已经死亡就可以。
剩余问题
对于该问题,目前来看应该是全部解决了。但是不小心将代码二的代码改成如下所示
from multiprocessing import Process
import os
import timedef run():print ("pid is ", os.getpid())print ("parent pid is ", os.getpid())
p = Process(target = run)
p.start()
time.sleep(3)
p1 = Process(target = run)
p1.start()
time.sleep(3)
p2 = Process(target = run)
p2.start()
time.sleep(3)
time.sleep(100)
如果调用子进程后不使用sleep
函数,最后会得到三个僵尸进程,但是调用了sleep
,前两个僵尸进程都会被清理,剩下最后一个子进程成为僵尸进程。
这个问题我觉得应该跟sleep
的实现方式有关,所以有空自己再去看看源代码,看看能不能折腾出结果吧
python3 多进程 multiprocessing对僵尸进程的处理相关推荐
- php apache 多进程,php多进程 防止出现僵尸进程 如何 使 apache 成为 僵尸进程
php pcntl 僵尸进程怎么产生的一个进程在调用exit命令结束自己的生命的时候,其实它并没有真正的被销毁,而是留下一个称为僵尸进程(Zombie)的数据结构(系统调用exit,它的作用是使进程退 ...
- python3 多进程 multiprocessing 报错 AttributeError: ‘ForkAwareLocal‘ object has no attribute ‘connection‘
目录 错误代码 报错信息 错误原因 解决方法 错误代码 python多进程管理manager时候,当不使用join对当前进程(主进程)进行阻塞时会报错,具体代码及错误如下: from multipro ...
- python僵尸进程和孤儿进程_python中多进程应用及僵尸进程、孤儿进程
一.python如何使用多进程 创建子进程的方式 1.导入multiprocessing 中的Process类 实例化这个类 指定要执行的任务 target import os from multip ...
- php 防止僵尸程序,PHP多进程编程之僵尸进程问题
经过运用pcntl_fork函数,我们现已有了新的子进程,而子进程接下来完结我们需求处理的内容,那么我们就暂时叫做service()吧,而且我们需求很多个service()进行处理,再次参照我们之前的 ...
- Linux -- 多进程编程之 - 守护进程
内容概要 一.守护进程概述 二.守护进程创建 2.1.创建子进程,父进程退出 2.2.在子进程中创建新会话 2.2.1.进程组和会话期 2.2.2.setsid()函数说明 2.3.改变当前工作目录 ...
- python进程池win出错_解决windows下python3使用multiprocessing.Pool出现的问题
例如: from multiprocessing import Pool def f(x): return x*x pool = Pool(processes=4) r=pool.map(f, ran ...
- python 多进程multiprocessing 如何获取子进程的返回值?进程池pool,apply_async(),get(),
案例1 # -*- coding: utf-8 -*- """ @File : 20200318_摄像头多进程流传输.py @Time : 2020/3/18 14:58 ...
- linux 僵尸进程deffunc,多进程-开启子进程的两种方式,查看进程的pid与ppid,僵尸进程与孤儿进程...
一.开启子进程的两种方式 方式一: # 方式一: from multiprocessing import Process import time def task(name): print(" ...
- C语言僵尸进程,C/C++网络编程8——多进程服务器端之销毁僵尸进程
上一节提到,当子进程执行结束,父进程还在执行,在父进程结束之前子进程会成为僵尸进程,那么怎么销毁僵尸进程呢?父进程主动接收子进程的返回值. 销毁僵尸进程的方法: 1:使用wait函数 2:使用wait ...
最新文章
- 铃木dl250参数_铃木DL250,铃木GSX250,铃木GW250重量多少?哪款最值得买?
- glutSwapBuffers函数用法
- Linux 定期删除3天以前的日志文件
- 让我们来了解一下:操作系统和平台相关性
- jdk1.8.0_45源码解读——ArrayList的实现
- 什么是标签?跟数据中台有什么关系?终于有人讲明白了
- Theano学习笔记:Theano的艰辛安装体验
- [转]C#操作varbinary(MAX)字段
- 设计模式 - 状态模式、职责连模式
- CMT 注册——Google Scholar Id,Semantic Scholar Id,和 DBLP Id
- lubuntu输入法设置_Ubuntu 设置中文输入法
- LiveZilla 详细 配置 设置 (一) 安装 wamp
- Airbnb如何应用AARRR策略成为全球第一民宿平台
- GFPGAN:老旧照片的面部恢复神器
- 如何调整word分栏后,左右不平齐的现象
- 利用OneDrive网盘建站
- 高通Camx offline Log merge命令
- 紫光扫描仪ocr_清华紫光OCR下载
- 【论文笔记】DSCN:基于深度孪生神经网络的光学航空图像变化检测模型
- 虚拟人,数字人,虚拟数字人的定义区别
热门文章
- 云网融合 — 基于 SD-DCN 的云内网络融合
- Linux_ISCSI服务器
- Keil错误fatal error: UTF-16 (LE) byte order mark detected
- 程序编译生成的Hex、Bin、axf和elf格式
- 数据库自动收缩带来的严重问题
- java doc 文档,注解详解
- 江西财经大学第一届程序设计竞赛 G题小Q的口袋校园
- 菜鸟学Linux 第090篇笔记 corosync+drbd+mysql
- Slave: received end packet from server, apparent master shutdown
- Css的filter常用滤波器属性及语句大全