python进程池的实现原理_Python基于进程池实现多进程过程解析

1、注意：pool必须在 if __name__ == '__main__' 下面运行，不然会报错

2、多进程内出现错误会直接跳过该进程，并且默认不会打印错误信息

3、if__name__下面的数据需要通过参数传入主函数里面，不然主函数获取不到该数据值而报错。

4、若不通过传参形式传入数据，可以定义全局变量。但是全局变量的值不能在多进程里面进行修改。

代码如下

from multiprocessing import pool # 进程池，用于多进程

import os # 用于获取当前执行的文件名

import time

import traceback # 用于捕获异常

import sys # 用于捕获异常

def main_func(i): # 多进程运行的函数

try: # 多进程中发生异常是不会打印错误信息，并且当前进程会直接跳过，所以异常需要自行捕获

rand_time = random.randint(1, 3) # 随机产生1~3的整数

time.sleep(rand_time )

print(i)

except:

current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 获取当前文件名称

cur_err_filname = current_filename + '_error.txt'

error_info = sys.exc_info() # 打印异常

with open(f'{cur_err_filname }', 'a') as f:

error_str = f'{i}:error occurred，{time.strftime("%y-%m-%d %h:%m:%s")}：\n {error_info[0]}: {error_info[1]}' # 记录当前进程特征值，错误发生时间，错误类型，错误概述

print(error_str, file=f) # 通过打印方式写入文件

traceback.print_tb(error_info[2], file=f) # 错误细节描述(包括bug的代码位置)

f.write(f"{'=' * 50}\n") # 分行

if __name__ == '__main__': # 必须在此语句下面运行，不然会报错

pool = pool(5) # 定义进程数量

for i in range(20):

pool.apply_async(main_func, (i, )) # 调用函数执行多进程

pool.close() # 关闭进程池

pool.join() # 阻塞进程，此两部不能少，保证多进程正常运行

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持萬仟网。

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！

python进程池的实现原理_Python基于进程池实现多进程过程解析相关推荐

python xlutils教程_Python基于xlutils修改表格内容过程解析
一.xlutils是什么是一个提供了许多操作修改excel文件方法的库: 属于python的第三方模块 xlrd库用于读取excel文件中的数据,xlwt库用于将数据写入excel文件,修改用xlu ...
python爬取论坛付费内容_Python爬虫抓取论坛关键字过程解析
前言: 之前学习了用python爬虫的基本知识,现在计划用爬虫去做一些实际的数据统计功能.由于前段时间演员的诞生带火了几个年轻的实力派演员,想用爬虫程序搜索某论坛中对于某些演员的讨论热度,并按照日期统 ...
java 数据源监控_spring boot基于DRUID实现数据源监控过程解析
这篇文章主要介绍了spring boot基于DRUID实现数据源监控过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下随着需求和技术的日益革新 ...
python线程池原理_Python定时器线程池原理详解
这篇文章主要介绍了Python定时器线程池原理详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下定时器执行循环任务: 知识储备 Timer(int ...
python进程和线程是什么_python的进程与线程
一.进程与线程的相关概念 1.什么是进程进程是一个程序在一个数据集上的一次动态执行过程. 进程一般由程序,数据集,进程控制块三部分组成. 2.什么是线程线程也叫轻量级进程,它是一个基本的CPU执行 ...
python中迭代器的实现原理_Python 进阶应用教程
Python 中的迭代器实现原理在数学中,集合表示由一个或多个确定的元素所构成的整体.在 Python 中,列表.元组.集合可以用于表示数学中的集合. 例如,分别使用列表.元组.集合表示了一个包含 ...
python进程线程协程区别_Python中进程线程协程
一.进程进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础.在早期面向进程设计的计算机结构中,进程是程序的基本执行实体:在 ...
python图片相似度计算_python Opencv计算图像相似度过程解析
这篇文章主要介绍了python Opencv计算图像相似度过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下一.相关概念一般我们人区分谁是谁 ...
python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器访问-User-Agent过程解析
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下模拟浏览器访问-Use ...

python进程池的实现原理_Python基于进程池实现多进程过程解析

python进程池的实现原理_Python基于进程池实现多进程过程解析相关推荐

最新文章

热门文章