pyhton学习笔记-爬虫相关-多进程同步异步的代码实现

本文为了说明例子，用中文作为变量写在了程序里面，一般编程最好不要那么写

本文目录

同步(正常的情况)实现
多进程
join方法的作用
进程间数据隔离的实现

同步(正常的情况)实现

import timedef func():time.sleep(5)print('沉睡5秒后同步调用')if __name__ == '__main__':res = func()print('同步调用完成')

效果

多进程

windows操作系统下创建进程一定要在main内创建
因为windows下创建进程类似于模块导入的方式会从上往下依次执行代码而linux中则是直接将代码完整的拷贝一份

方法一(使用函数)

from multiprocessing import Process
import timedef 要执行的函数(变量名):print('%s 正在运行'%变量名)time.sleep(5)print('%s 运行结束'%变量名)if __name__ == '__main__':#创建对象A = Process(target=要执行的函数, args=('进程名',))#哪怕里面只有1个元素都要用逗号隔开#开启进程A.start()#异步print('主进程')

效果

方法二，使用类(类的继承)

from multiprocessing import Process
import timeclass 类(Process):def 运行(self):print('开始执行')time.sleep(5)print('执行结束')if __name__ == '__main__':A = 类()A.start()print('主进程')

效果

join方法的作用

from multiprocessing import Process
import timedef 要执行的函数(变量名, n):print('%s 正在执行'%变量名)time.sleep(n)print('%s 执行结束'%变量名)if __name__ == '__main__':start_time = time.time()#A.join()  # 主进程等待子进程p运行结束之后再继续往后执行time.time()A_list = []for i in range(1, 10):A = Process(target=要执行的函数, args=('子进程%s'%i, i))A.start()A_list.append(A)for A in A_list:A.join()print('主进程所耗时间:', time.time() - start_time,'秒')

效果

进程间数据隔离的实现

from multiprocessing import Process变量 = '这是主进程，尚未剥削，仍有 1000000'def 要运行的函数():global 变量  # 局部修改全局变量 = '经剥削，还剩200'print('子进程',变量)if __name__ == '__main__':p = Process(target=要运行的函数)p.start()p.join()print(变量)

效果

pyhton学习笔记-爬虫相关-多进程同步异步的代码实现相关推荐

好记性不如烂笔头-linux学习笔记4apache相关知识
好记性不如烂笔头-linux学习笔记4apache相关知识 apache 启动有2种模式 1是prefork模式,每个进程对应一个线程,如果是比较稳定的平台,那么prefork模式是worker模式 ...
经典神经网络论文超详细解读（八）——ResNeXt学习笔记（翻译＋精读＋代码复现）
前言今天我们一起来学习何恺明大神的又一经典之作: ResNeXt(<Aggregated Residual Transformations for Deep Neural Networks&g ...
FPGA学习笔记（八）同步/异步信号的打拍分析处理及亚稳态分析
系列文章目录一.FPGA学习笔记(一)入门背景.软件及时钟约束二.FPGA学习笔记(二)Verilog语法初步学习(语法篇1) 三.FPGA学习笔记(三) 流水灯入门FPGA设计流程四.FPGA ...
Python学习笔记——爬虫之Scrapy框架
目录 Scrapy 框架 Scrapy的安装介绍 Windows 安装方式 Ubuntu 需要9.10或以上版本安装方式入门案例启动Scrapy Shell Item Pipeline Spide ...
Reeds-Shepp曲线学习笔记及相关思考
本篇博客主要记录在学习Reeds-Shepp曲线过程中的笔记及相关思考和概括总结一.主要参考资料 1.提出Reeds-Shepp曲线的原始论文:[点击此处跳转] 2.路径规 ...
Dubins曲线学习笔记及相关思考
本篇博客主要记录在学习Dubins曲线过程中的笔记及相关思考和概括总结一.主要参考资料 1.Andy G's Blog:[点击此处跳转] 2.Andy G's Blog的P ...
Pyhton学习笔记第一天(Python基本语句)
Python学习笔记第一天注释行注释块注释输出语句举一反三标识符举一反三多行语句结束语注释什么是注释,注释相当于备注的信息,也可以在调试代码的时候隐藏执行代码,但只适合新手.老手 ...
影像组学视频学习笔记(12)-支持向量机(SVM)参数优化(代码)、Li‘s have a solution and plan.
本笔记来源于B站Up主: 有Li 的影像组学系列教学视频本节(12)主要介绍: SVM参数优化(代码) 参数优化: 自动寻找最合适的γ和C组合. 原理:遍历所有给定的参数组合,对数据进行训练,找到最 ...
Go语学习笔记 - websocket gorilla（附测试代码） | 从零开始Go语言
目录项目结构消息结构服务端代码定义客户端行为服务启动测试代码总结学习笔记,写到哪是哪. websocket也是常用的协议了,在上一篇中主要测试使用了一下grpc. 下面我会把代码贴出来 ...

pyhton学习笔记-爬虫相关-多进程同步异步的代码实现

本文目录

同步(正常的情况)实现

多进程

join方法的作用

进程间数据隔离的实现

pyhton学习笔记-爬虫相关-多进程同步异步的代码实现相关推荐

最新文章

热门文章