Python并发编程之多进程(一)

一、什么是进程

进程：正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。

进程是资源分配的基本单位

进程有：代码段，数据段，进程控制块（PCB）组成

二、进程与程序的区别

程序仅仅只是一堆代码而已，而进程指的是程序的运行过程。

举例：

想象一位有一手好厨艺的计算机科学家正在为他的女儿烘制生日蛋糕。

他有做生日蛋糕的食谱，

厨房里有所需的原料:面粉、鸡蛋、韭菜，蒜泥等。

在这个比喻中：

做蛋糕的食谱就是程序(即用适当形式描述的算法)

计算机科学家就是处理器(cpu)

而做蛋糕的各种原料就是输入数据。

进程就是厨师阅读食谱、取来各种原料以及烘制蛋糕等一系列动作的总和。

需要强调的是：同一个程序执行两次，那也是两个进程，比如打开暴风影音，虽然都是同一个软件，但是一个可以播放苍井空，一个可以播放饭岛爱。

三、并发与并行

无论是并行还是并发，在用户看来都是’同时’运行的，不管是进程还是线程，都只是一个任务而已，真是干活的是cpu，cpu来做这些任务，而一个cpu同一时刻只能执行一个任务

并发：在同一个时间段内多个任务同时进行，伪并行，即看起来是同时运行。单个cpu+多道技术就可以实现并发（并行也属于并发）

举例：

你是一个cpu，你同时谈了三个女朋友，每一个都可以是一个恋爱任务，你被这三个任务共享，要玩出并发恋爱的效果，应该是你先跟女友1去看电影，看了一会说：不好，我要拉肚子，然后跑去跟第二个女友吃饭，吃了一会说：那啥，我去趟洗手间，然后跑去跟女友3开了个房

并行：在同一个时间点上多个任务同时进行，同时运行，只有具备多个cpu才能实现并行

单核下，可以利用多道技术，多个核，每个核也都可以利用多道技术（多道技术是针对单核而言的）

举例：

有四个核，六个任务，这样同一时间有四个任务被执行，假设分别被分配给了cpu1，cpu2，cpu3，cpu4，一旦任务1遇到I/O就被迫中断执行，此时任务5就拿到cpu1的时间片去执行，这就是单核下的多道技术，而一旦任务1的I/O结束了，操作系统会重新调用它(需知进程的调度、分配给哪个cpu运行，由操作系统说了算)，可能被分配给四个cpu中的任意一个去执行

四、同步、异步、阻塞、非阻塞

同步

同步：某一个任务的执行必须依赖于另一个任务的返回结果

所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不会返回。按照这个定义，其实绝大多数函数都是同步调用。但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务

异步

异步：某一个任务的执行，不需要依赖于另一个任务的返回，只需要告诉另一个任务一声

异步的概念和同步相对。当一个异步功能调用发出后，调用者不能立刻得到结果。当该异步功能完成后，通过状态、通知或回调来通知调用者。

阻塞

阻塞：程序因为类似于IO等待、等待事件等导致无法继续执行。

阻塞调用是指调用结果返回之前，当前线程会被挂起（如遇到io操作）。函数只有在得到结果之后才会将阻塞的线程激活。有人也许会把阻塞调用和同步调用等同起来，实际上他是不同的。对于同步调用来说，很多时候当前线程还是激活的，只是从逻辑上当前函数没有返回而已。

非阻塞

程序遇到类似于IO操作时，不再阻塞等待，如果没有及时的处理IO，就报错或者跳过等其他操作

非阻塞和阻塞的概念相对应，指在不能立刻得到结果之前也会立刻返回，同时该函数不会阻塞当前线程。

五、进程的基本状态

进程的三大基本状态：

就绪状态：所有进程需要的资源都获取到了，等待着CPU的调用
执行状态：获取到了所有资源包括CPU，进程处于运行状态
阻塞状态：程停滞不再运行，放弃了CPU，进程此时处于内存里

六、multiprocessing模块介绍

Python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在Python中大部分情况需要使用多进程。Python提供了multiprocessing。
multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数），该模块与多线程模块threading的编程接口类似。

multiprocessing模块的功能众多：支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

需要再次强调的一点是：与线程不同，进程没有任何共享状态，进程修改的数据，改动仅限于该进程内。

七、Process类的介绍

1:创建进程的类

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务（尚未启动）强调：
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

2：参数介绍

group参数未使用，值始终为Nonetarget表示调用对象，即子进程要执行的任务args表示调用对象的位置参数元组，args=(1,2,'egon',)kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}name为子进程的名称

3:方法介绍

p.start()：启动进程，并调用该子进程中的p.run() p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法  p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁p.is_alive():如果p仍然运行，返回Truep.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

4:属性介绍

p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置p.name:进程的名称p.pid：进程的pidp.exitcode:进程在运行时为None、如果为–N，表示被信号N结束p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功

八、Process类的使用

注意：在windows中Process()必须放到# if name == ‘main’:下

创建并开启子进程的两种方式

from multiprocessing import Process
import osdef child_process():print("这是子进程{0},父进程是{1}".format(os.getpid(), os.getppid()))if __name__ == '__main__':child_p = Process(target=child_process)child_p.start()# child_p.join()print("这是父进程{0}".format(os.getpid()))

from multiprocessing import Process
import osclass ChildProcess(Process):def __init__(self):super(ChildProcess, self).__init__()def run(self):print("这是子进程{0}，父进程是{1}".format(os.getpid(), os.getppid()))if __name__ == '__main__':child_p = ChildProcess()child_p.start()# child_p.join()print("这是父进程{0}".format(os.getpid()))

2:进程之间的内存空间是隔离的

from multiprocessing import Process
import osnum = 100def chile_process():global numnum = 0print("子进程中：{0}".format(num))if __name__ == '__main__':p = Process(target=chile_process)p.start()print("父进程中：{0}".format(num))# 父进程中：100
# 子进程中：0

3:Process中的join()方法

join()：主进程等待，等待子进程结束

from multiprocessing import Process
import os
import timedef child_process():time.sleep(3)print("这是子进程")if __name__ == '__main__':p = Process(target=child_process)p.start()# p.join()print("这是主进程")# 这是主进程
# 这是子进程
# 分析：如果不加join那么则是先打印主进程中的“这是主进程”，然后等待三秒在打印“这是子进程”from multiprocessing import Process
import os
import timedef child_process():time.sleep(3)print("这是子进程")if __name__ == '__main__':p = Process(target=child_process)p.start()p.join()print("这是主进程")
# 这是子进程
# 这是主进程
# 分析：如果加了join那么主进程会等待子进程执行完之后再执行主进程，也就是说会先等待三秒然后同时打印出“这是子进程”和“这是主进程”

九、守护进程

守护进程的特点：

1:守护进程会在主进程执行完成后终止

2:设置了守护进程后，守护进程不能再开启子进程，否则会报异常

 --------------------------------------------------------------------注：如果你对python感兴趣，我这有个学习Python基地，里面有很多学习资料，感兴趣的+Q群：895817687--------------------------------------------------------------------from multiprocessing import Process
import timedef func(name):time.sleep(1)print("我是{0}".format(name))def foo(name):time.sleep(3)print("{0}是谁".format(name))if __name__ == '__main__':p1 = Process(target=func, args=("oldwang",))p2 = Process(target=foo, args=("oldwang",))p1.daemon = True# 一定要在p.start()前设置,设置p为守护进程,禁止p创建子进程,并且父进程代码执行结束,p即终止运行p1.start()p2.start()print("这是主进程...")# 执行结果：
# 这是主进程...
# oldwang是谁