Python多任务之多进程开发
目录
- 1 多任务的介绍
- 2 多任务的执行方式
- 3 进程介绍
- 4 多进程的使用
- 4.1 多进程的体验
- 4.1.1 导入进程包
- 4.1.2 Process进程类的说明
- 4.1.3 多进程完成多任务的代码
- 4.1.4 小结
- 4.2 获取进程编号
- 4.2.1 获取当前父进程编号
- 4.2.2 小结
- 4.3 进程执行带有参数的任务
- 4.3.1 进程执行带有参数的任务的介绍
- 4.3.2 args参数的使用
- 4.3.3 kwargs参数的使用
- 4.3.4 小结
- 4.4 进程的注意点
- 4.4.1 进程的注意点介绍
- 4.4.2 进程之间不共享全局变量
- 4.4.3 进程之间不共享全局变量的小结
- 4.4.4 主进程会等待所有的子进程执行结束再结束
- 4.4.5 主进程会等待所有的子进程执行结束再结束的小结
1 多任务的介绍
多任务是指在同一时间内执行多个任务，例如: 现在电脑安装的操作系统都是多任务操作系统，可以同时运行着多个软件。
多任务效果图:
2 多任务的执行方式
- 并发
- 并行
并发:
在一段时间内交替去执行任务。
例如:
对于单核cpu处理多任务,操作系统轮流让各个软件交替执行，假如:软件1执行0.01秒，切换到软件2，软件2执行0.01秒，再切换到软件3，执行0.01秒……这样反复执行下去。表面上看，每个软件都是交替执行的，但是，由于CPU的执行速度实在是太快了，我们感觉就像这些软件都在同时执行一样，这里需要注意单核cpu是并发的执行多任务的。
并行:
对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的软件，多个内核是真正的一起执行软件。这里需要注意多核cpu是并行的执行多任务，始终有多个软件一起执行。
- 使用多任务就能充分利用CPU资源，提高程序的执行效率，让你的程序具备处理多个任务的能力。
- 多任务执行方式有两种方式：并发和并行，这里并行才是多个任务真正意义一起执行。
3 进程介绍
在Python程序中，想要实现多任务可以使用进程来完成，进程是实现多任务的一种方式。
一个正在运行的程序或者软件就是一个进程，它是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。
比如:现实生活中的公司可以理解成是一个进程，公司提供办公资源(电脑、办公桌椅等)，真正干活的是员工，员工可以理解成线程。
注意:
一个程序运行后至少有一个进程，一个进程默认有一个线程，进程里面可以创建多个线程，线程是依附在进程里面的，没有进程就没有线程。
说明:
多进程可以完成多任务，每个进程就好比一家独立的公司，每个公司都各自在运营，每个进程也各自在运行，执行各自的任务。
- 进程是操作系统进行资源分配的基本单位。
- 进程是Python程序中实现多任务的一种方式
4 多进程的使用
4.1 多进程的体验
4.1.1 导入进程包
#导入进程包
import multiprocessing
4.1.2 Process进程类的说明
Process(group , target , name , args , kwargs)
- group：指定进程组，目前只能使用None
- target：执行的目标任务名
- name：进程名字
- args：以元组方式给执行任务传参
- kwargs：以字典方式给执行任务传参
Process创建的实例对象的常用方法: - start()：启动子进程实例（创建子进程）
- join()：等待子进程执行结束
- terminate()：不管任务是否完成，立即终止子进程
Process创建的实例对象的常用属性:
name：当前进程的别名，默认为Process-N，N为从1开始递增的整数
4.1.3 多进程完成多任务的代码
import multiprocessing
import time
# 跳舞任务
def dance():for i in range(5):print("跳舞中...")time.sleep(0.2)
# 唱歌任务
def sing():for i in range(5):print("唱歌中...")time.sleep(0.2)
if __name__ == '__main__':# 创建跳舞的子进程# group: 表示进程组，目前只能使用None# target: 表示执行的目标任务名(函数名、方法名)# name: 进程名称, 默认是Process-1, .....dance_process = multiprocessing.Process(target=dance, name="myprocess1")sing_process = multiprocessing.Process(target=sing)# 启动子进程执行对应的任务dance_process.start()sing_process.start()
执行结果:
唱歌中...
跳舞中...
唱歌中...
跳舞中...
唱歌中...
跳舞中...
唱歌中...
跳舞中...
唱歌中...
跳舞中...
4.1.4 小结
- 导入进程包
- import multiprocessing
- 创建子进程并指定执行的任务
- sub_process = multiprocessing.Process (target=任务名)
- 启动进程执行任务
- sub_process.start()
4.2 获取进程编号
import multiprocessing
import time
import os
# 跳舞任务
def dance():# 获取当前进程的编号print("dance:", os.getpid())# 获取当前进程print("dance:", multiprocessing.current_process())for i in range(5):print("跳舞中...")time.sleep(0.2)# 扩展:根据进程编号杀死指定进程os.kill(os.getpid(), 9)
# 唱歌任务
def sing():# 获取当前进程的编号print("sing:", os.getpid())# 获取当前进程print("sing:", multiprocessing.current_process())for i in range(5):print("唱歌中...")time.sleep(0.2)
if __name__ == '__main__':# 获取当前进程的编号print("main:", os.getpid())# 获取当前进程print("main:", multiprocessing.current_process())# 创建跳舞的子进程# group: 表示进程组，目前只能使用None# target: 表示执行的目标任务名(函数名、方法名)# name: 进程名称, 默认是Process-1, .....dance_process = multiprocessing.Process(target=dance, name="myprocess1")sing_process = multiprocessing.Process(target=sing)# 启动子进程执行对应的任务dance_process.start()sing_process.start()
执行结果:
main: 70763
main: <_MainProcess(MainProcess, started)>
dance: 70768
dance: <Process(myprocess1, started)>
跳舞中...
sing: 70769
sing: <Process(Process-2, started)>
唱歌中...
唱歌中...
唱歌中...
唱歌中...
唱歌中...
4.2.1 获取当前父进程编号
os.getppid() 表示获取当前父进程编号
示例代码:
import multiprocessing
import time
import os
# 跳舞任务
def dance():# 获取当前进程的编号print("dance:", os.getpid())# 获取当前进程print("dance:", multiprocessing.current_process())# 获取父进程的编号print("dance的父进程编号:", os.getppid())for i in range(5):print("跳舞中...")time.sleep(0.2)# 扩展:根据进程编号杀死指定进程os.kill(os.getpid(), 9)
# 唱歌任务
def sing():# 获取当前进程的编号print("sing:", os.getpid())# 获取当前进程print("sing:", multiprocessing.current_process())# 获取父进程的编号print("sing的父进程编号:", os.getppid())for i in range(5):print("唱歌中...")time.sleep(0.2)
if __name__ == '__main__':# 获取当前进程的编号print("main:", os.getpid())# 获取当前进程print("main:", multiprocessing.current_process())# 创建跳舞的子进程# group: 表示进程组，目前只能使用None# target: 表示执行的目标任务名(函数名、方法名)# name: 进程名称, 默认是Process-1, .....dance_process = multiprocessing.Process(target=dance, name="myprocess1")sing_process = multiprocessing.Process(target=sing)# 启动子进程执行对应的任务dance_process.start()sing_process.start()
main: 70860
main: <_MainProcess(MainProcess, started)>
dance: 70861
dance: <Process(myprocess1, started)>
dance的父进程编号: 70860
跳舞中...
sing: 70862
sing: <Process(Process-2, started)>
sing的父进程编号: 70860
唱歌中...
唱歌中...
唱歌中...
唱歌中...
唱歌中...
4.2.2 小结
- 获取当前进程编号
- os.getpid()
- 获取当前父进程编号
- os.getppid()
- 获取进程编号可以查看父子进程的关系
4.3 进程执行带有参数的任务
4.3.1 进程执行带有参数的任务的介绍
前面我们使用进程执行的任务是没有参数的，假如我们使用进程执行的任务带有参数，如何给函数传参呢?
Process类执行任务并给任务传参数有两种方式:
- args 表示以元组的方式给执行任务传参
- kwargs 表示以字典方式给执行任务传参
4.3.2 args参数的使用
示例代码:
import multiprocessing
import time
# 带有参数的任务
def task(count):for i in range(count):print("任务执行中..")time.sleep(0.2)else:print("任务执行完成")
if __name__ == '__main__':# 创建子进程# args: 以元组的方式给任务传入参数sub_process = multiprocessing.Process(target=task, args=(5,))sub_process.start()
执行结果:
任务执行中..
任务执行中..
任务执行中..
任务执行中..
任务执行中..
任务执行完成
4.3.3 kwargs参数的使用
示例代码:
import multiprocessing
import time
# 带有参数的任务
def task(count):for i in range(count):print("任务执行中..")time.sleep(0.2)else:print("任务执行完成")
if __name__ == '__main__':# 创建子进程# kwargs: 表示以字典方式传入参数sub_process = multiprocessing.Process(target=task, kwargs={"count": 3})sub_process.start()
执行结果:
任务执行中..
任务执行中..
任务执行中..
任务执行完成
4.3.4 小结
- 进程执行任务并传参有两种方式:
- 元组方式传参(args): 元组方式传参一定要和参数的顺序保持一致。
- 字典方式传参(kwargs): 字典方式传参字典中的key一定要和参数名保持一致。
4.4 进程的注意点
4.4.1 进程的注意点介绍
- 进程之间不共享全局变量
- 主进程会等待所有的子进程执行结束再结束
4.4.2 进程之间不共享全局变量
import multiprocessing
import time
# 定义全局变量
g_list = list()
# 添加数据的任务
def add_data():for i in range(5):g_list.append(i)print("add:", i)time.sleep(0.2)# 代码执行到此，说明数据添加完成print("add_data:", g_list)
def read_data():print("read_data", g_list)
if __name__ == '__main__':# 创建添加数据的子进程add_data_process = multiprocessing.Process(target=add_data)# 创建读取数据的子进程read_data_process = multiprocessing.Process(target=read_data)# 启动子进程执行对应的任务add_data_process.start()# 主进程等待添加数据的子进程执行完成以后程序再继续往下执行，读取数据add_data_process.join()read_data_process.start()print("main:", g_list)# 总结: 多进程之间不共享全局变量
执行结果:
add: 0
add: 1
add: 2
add: 3
add: 4
add_data: [0, 1, 2, 3, 4]
main: []
read_data []
进程之间不共享全局变量的解释效果图:
4.4.3 进程之间不共享全局变量的小结
- 创建子进程会对主进程资源进行拷贝，也就是说子进程是主进程的一个副本，好比是一对双胞胎，之所以进程之间不共享全局变量，是因为操作的不是同一个进程里面的全局变量，只不过不同进程里面的全局变量名字相同而已。
4.4.4 主进程会等待所有的子进程执行结束再结束
假如我们现在创建一个子进程，这个子进程执行完大概需要2秒钟，现在让主进程执行0.5秒钟就退出程序，查看一下执行结果，示例代码如下:
import multiprocessing
import time
# 定义进程所需要执行的任务
def task():for i in range(10):print("任务执行中...")time.sleep(0.2)
if __name__ == '__main__':# 创建子进程sub_process = multiprocessing.Process(target=task)sub_process.start()# 主进程延时0.5秒钟time.sleep(0.5)print("over")exit()# 总结： 主进程会等待所有的子进程执行完成以后程序再退出
执行结果:
任务执行中...
任务执行中...
任务执行中...
over
任务执行中...
任务执行中...
任务执行中...
任务执行中...
任务执行中...
任务执行中...
任务执行中...
说明:
通过上面代码的执行结果，我们可以得知: 主进程会等待所有的子进程执行结束再结束
假如我们就让主进程执行0.5秒钟，子进程就销毁不再执行，那怎么办呢?
- 我们可以设置守护主进程 或者 在主进程退出之前 让子进程销毁
守护主进程: - 守护主进程就是主进程退出子进程销毁不再执行
子进程销毁: - 子进程执行结束
保证主进程正常退出的示例代码:
import multiprocessing
import time
# 定义进程所需要执行的任务
def task():for i in range(10):print("任务执行中...")time.sleep(0.2)
if __name__ == '__main__':# 创建子进程sub_process = multiprocessing.Process(target=task)# 设置守护主进程，主进程退出子进程直接销毁，子进程的生命周期依赖与主进程# sub_process.daemon = Truesub_process.start()time.sleep(0.5)print("over")# 让子进程销毁sub_process.terminate()exit()# 总结： 主进程会等待所有的子进程执行完成以后程序再退出# 如果想要主进程退出子进程销毁，可以设置守护主进程或者在主进程退出之前让子进程销毁
执行结果:
任务执行中...
任务执行中...
任务执行中...
over
4.4.5 主进程会等待所有的子进程执行结束再结束的小结
- 为了保证子进程能够正常的运行，主进程会等所有的子进程执行完成以后再销毁，设置守护主进程的目的是主进程退出子进程销毁，不让主进程再等待子进程去执行。
- 设置守护主进程方式： 子进程对象.daemon = True
- 销毁子进程方式： 子进程对象.terminate()
Python多任务之多进程开发相关推荐
- Python多任务(1.多进程的概念和用法 )
1.进程的概念 2.进程的状态: 3.python中的进程包 multiprocessing 4.多进程的简单使用 5.获取进程的编号 6.进程执行带有参数的任务 7.进程的注意点 8. 进程.线程 ...
- Python多任务(7.多进程的应用：文件的拷贝器例子)
涉及的知识点 1. os.mkdir(path) # os模块的功能,在指定路径上创建文件夹 os.listdir(path) # os模块的功能,打开指定文件夹里面的内 ...
- python 多线程实现多任务，多进程实行多任务
目录 1 多线程实现多任务 1.1 什么是线程? 1.2 一个程序实现多任务的方法 1.3 多线程的创建方式 1.3.1 创建threading.Thread对象 1.3.2 继承threading. ...
- Python多任务(8.进程与线程之间的区别以及多进程和多线程的区别 )
1. 进程.线程的对比 进程,能够完成多任务,比如: 一台电脑上可以运行登录多个QQ 线程,能够完成多任务,比如: 一个QQ中可以和有多个聊天窗口 进程里面包含线程,线程不能够独立执行,必须依存在进 ...
- Python多线程与多进程微信公众号后台开发
目录 前言 一.线程与进程 1.什么是线程 2.什么是进程 3.进程与线程的关系 4.总结 5.CPU密集型与IO密集型 二.Python的多线程和多进程 1.GIL(Global Interpret ...
- Python多任务——线程
多线程-threading python的thread模块是比较底层的模块,python的threading模块是对thread做了一些包装的,可以更加方便的被使用 1. 使用threading模块 ...
- Python多任务教程
一.并发和并行 多任务:一定时间段内,充分利用cpu资源,同时去执行多个任务 并发: 快速交替的 去执行多任务 并行: 真正同时的 去执行多任务 ,就是同时进行 二.多进程 1.多进程入门 知识点: ...
- python廖雪峰_【Python】python中实现多进程与多线程
进程与线程 进程(process)就是任务,是计算机系统进行资源分配和调度的基本单位[1].比如,打开一个word文件就是启动了一个word进程. 线程(thread)是进程内的子任务.比如word中 ...
- async python两个_【Python】python中实现多进程与多线程
进程与线程 进程(process)就是任务,是计算机系统进行资源分配和调度的基本单位[1].比如,打开一个word文件就是启动了一个word进程. 线程(thread)是进程内的子任务.比如word中 ...
- python多任务,线程详解
python 多任务 多线程 python的thread模块是⽐较底层的模块,python的threading 模块是对thread做了⼀些包装的,可以更加⽅便的被使⽤ 调用 1 直接调用 # –*– ...
最新文章
- nc65语义模型设计_完整word版,NC数据加工做语义模型
- Android防止按钮连续点击
- C# 中对WinForm窗体中的控件快速设置TableIndex次序
- 2019-7-29 考试总结
- C#单例模式的懒汉与饿汉
- AI机器人：与智能机器人进行实时智能交互，想问什么就问什么
- EOS 智能合约源代码解读 （14）system合约“exchange_state.hpp”
- mybatisplus新增返回主键_第17期：索引设计（主键设计）
- 吃豆人动态模型创建---canvas
- python+Appium 滑动界面操作遇到取的元素宽度为负数
- B站【千锋】Linux云计算基础视频教程_650集完全入门 课堂笔记
- idea插件JRebel激活
- ElasticSearch学习总结（基础篇，可学习，可复习）
- 二手车电商的大萧条时代
- Android 软键盘的那些坑，原理篇来了！
- 生鲜配送ERP系统_对商品模块数据模型与界面设计的思考【Java 开源版】杭州生鲜配送系统_升鲜宝_SaaS全链路生鲜供应链管理系统_升鲜宝
- 【已修复】Error: ValueError: The last dimension of the inputs to `Dense` should be defined. Found `None`
- 你也遇到JSONException：create instance error, null...问题啦？
- 日本某地发生了一件谋杀案，警察通过排查确定杀人凶手必为4个嫌疑犯的一个。
- 23中北大学计算机/软件考研必知