day33-进程池和线程池
进程池与线程池
开进程开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比较少
在计算机能够承受范围之内最大限度的利用计算机
什么是池?
# 在保证计算机硬件安全的情况下最大限度的利用计算机 池其实是降低了程序的运行效率 但是保证了计算机硬件的安全 (硬件的发展跟不上软件的速度)
线程池进程池
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import time import os# pool = ThreadPoolExecutor(5) # 括号内可以传参数指定线程池内的线程个数 # # 也可以不传 不传默认是当前所在计算机的cpu个数乘5 pool = ProcessPoolExecutor() # 默认是当前计算机cpu的个数 """ 池子中创建的进程/线程创建一次就不会再创建了 至始至终用的都是最初的那几个 这样的话节省了反复开辟进程/线程的资源 """def task(n):print(n,os.getpid()) # 查看当前进程号time.sleep(2)return n**2def call_back(n):print('拿到了异步提交任务的返回结果:',n.result()) """ 提交任务的方式同步:提交任务之后 原地等待任务的返回结果 期间不做任何事异步:提交任务之后 不等待任务的返回结果(异步的结果怎么拿???) 直接执行下一行代码 """# pool.submit(task,1) # 朝线程池中提交任务 异步提交 # print('主') """ 异步回调机制:当异步提交的任务有返回结果之后,会自动触发回调函数的执行""" if __name__ == '__main__':t_list = []for i in range(20):res = pool.submit(task,i).add_done_callback(call_back) # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数# print(res.result()) # 原地等待任务的返回结果 t_list.append(res)# pool.shutdown() # 关闭池子 等待池子中所有的任务执行完毕之后 才会往下运行代码# for p in t_list:# print('>>>:',p.result())
协程
#串行执行 0.8540799617767334 # import time # # def func1(): # for i in range(10000000): # i+1 # # def func2(): # for i in range(10000000): # i+1 # # start = time.time() # func1() # func2() # stop = time.time() # print(stop - start)#基于yield并发执行 1.3952205181121826 # import time # def func1(): # while True: # 10000000+1 # yield # # def func2(): # g=func1() # for i in range(10000000): # time.sleep(100) # 模拟IO,yield并不会捕捉到并自动切换 # i+1 # next(g) # # start=time.time() # func2() # stop=time.time() # print(stop-start)""" 需要找到一个能够识别IO的一个工具gevent模块 """ from gevent import monkey;monkey.patch_all() # 由于该模块经常被使用 所以建议写成一行 from gevent import spawn import time """ 注意gevent模块没办法自动识别time.sleep等io情况 需要你手动再配置一个参数 """def heng():print("哼")time.sleep(2)print('哼')def ha():print('哈')time.sleep(3)print('哈')def heiheihei():print('嘿嘿嘿')time.sleep(5)print('嘿嘿嘿')start = time.time() g1 = spawn(heng) g2 = spawn(ha) # spawn会检测所有的任务 g3 = spawn(heiheihei) g1.join() g2.join() g3.join() # heng() # ha() print(time.time() - start)
进程:资源单位
线程:执行单位
协程:单线程下实现并发
并发
切换+保存状态
ps:看起来像同时执行的 就可以称之为并发
协程:完全是程序员自己意淫出来的名词
单线程下实现并发
TCP单线程实现并发
服务端
from gevent import monkey;monkey.patch_all() import socket from gevent import spawnserver = socket.socket() server.bind(('127.0.0.1',8080)) server.listen(5)def talk(conn):while True:try:data = conn.recv(1024)if len(data) == 0:breakprint(data.decode('utf-8'))conn.send(data.upper())except ConnectionResetError as e:print(e)breakconn.close()def server1():while True:conn, addr = server.accept()spawn(talk,conn)if __name__ == '__main__':g1 = spawn(server1)g1.join()
客户端
import socket from threading import Thread,current_threaddef client():client = socket.socket()client.connect(('127.0.0.1',8080))n = 0while True:data = '%s %s'%(current_thread().name,n)client.send(data.encode('utf-8'))res = client.recv(1024)print(res.decode('utf-8'))n += 1for i in range(400):t = Thread(target=client)t.start()
并发的条件?
多道技术
空间上的复用
时间上的复用
切换+保存状态
程序员自己通过代码自己检测程序中的IO
一旦遇到IO自己通过代码切换
给操作系统的感觉是你这个线程没有任何的IO
ps:欺骗操作系统 让它误认为你这个程序一直没有IO
从而保证程序在运行态和就绪态来回切换
提升代码的运行效率
切换+保存状态就一定能够提升效率吗???
当你的任务是iO密集型的情况下 提升效率
如果你的任务是计算密集型的 降低效率
yield 保存上一次的结果
多进程下开多线程
多线程下再开协程
IO模型(了解)
转载于:https://www.cnblogs.com/Ryan-Yuan/p/11357850.html
day33-进程池和线程池相关推荐
- python线程池模块_python并发编程之进程池,线程池,协程
需要注意一下 不能无限的开进程,不能无限的开线程 最常用的就是开进程池,开线程池.其中回调函数非常重要 回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去 ...
- python是如何实现进程池和线程池的_高并发:线程、线程锁与线程池(精华),手写代码实现线程池...
前文: 单线程--多线程的开启--线程锁--线程同步工具--手写连接池--连接池工具类. 一.线程 1.线程的概念 2.线程与进程的关系 3.定义: 区别:如上!!! 4.wait()和sleep() ...
- Python3高并发定时更新任务进程池和线程池的使用
Python3高并发定时更新任务进程池和线程池的使用 背景:需要定时对数据库的某一张表做更新 不管用多线程还是多进程只能利用当前一台机器的计算能力,可以考虑使用celery这样的工具,后期可以横向扩展 ...
- 进程池、线程池、回调函数、协程
阅读目录 摘要: 进程池与线程池 同步调用和异步调用 回调函数 协程 一.进程池与线程池: 1.池的概念: 不管是线程还是进程,都不能无限制的开下去,总会消耗和占用资源. 也就是说,硬件的承载能力是有 ...
- 并发编程——进程池与线程池
一.简单介绍 在学习了多进程或多线程之后,我们可能会迫不及待地基于多进程或多线程做一些开发,然而毫无节制的开启进程或线程是十分危险的. 服务开启的进程数或线程数都会随着并发的客户端数目地增多而增多,这 ...
- python 进程池 等待数量_【2020Python修炼记】python并发编程(六)补充—进程池和线程池...
1. 2. 为啥要有 进程池和线程池 进程池来控制进程数目,比如httpd的进程模式,规定最小进程数和最大进程数 3.创建进程池的类pool 如果指定numprocess为3,则进程池会从无到有创建三 ...
- Linux高性能服务器编程:进程池和线程池原理及应用(有图有代码有真相!!!)
一.问题引入 在前面编写多进程.多线程服务器时通过动态创建子进程和子线程来实现并发服务器,这样做有以下缺点: 1)动态创建进程.线程将会比较耗费时间,将导致较慢的客户响应. 2)动态创建的子进程只为一 ...
- Python 37 进程池与线程池 、 协程
一:进程池与线程池 提交任务的两种方式: 1.同步调用:提交完一个任务之后,就在原地等待,等任务完完整整地运行完毕拿到结果后,再执行下一行代码,会导致任务是串行执行 2.异步调用:提交完一个任务之后, ...
- python线程池模块_python并发编程之进程池,线程池,协程(Python标准模块--concurrent.futures(并发未来))...
需要注意一下 不能无限的开进程,不能无限的开线程 最常用的就是开进程池,开线程池.其中回调函数非常重要 回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去 ...
- python 进程池阻塞和非阻塞_python 之 并发编程(进程池与线程池、同步异步阻塞非阻塞、线程queue)...
9.11 进程池与线程池 池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务 池子内什么时候装进程:并发的任务属于计算密集型池子内什么时候装线程:并发的任务属于IO ...
最新文章
- docker linux界面版,centos 7 Docker使用Portainer搭建可视化界面
- 面试题整理 4 合并两个排序的数组
- 概率图模型中信念传播
- vSphere5.5中嵌套华为FusionCompute注意要点
- Java技术:项目构建工具Maven最佳替代者gradle介绍
- 多线程编程学习笔记——使用并发集合(三)
- 图片传输_一幅图片的奇妙旅行,网络传输分层通信协议原理揭秘
- mysql sql参数化查询_mybatis的sql参数化查询
- Java 数据类型及转换
- [js高手之路]设计模式系列课程-委托模式实战微博发布功能
- 修改pip下载存放和安装位置
- 低代码平台对程序员产生的内卷,零代码、低代码系列之一「对于零代、低代码平台的思考」
- QT 使用全局钩子监听鼠标事件和键盘事件
- 水域大小 Java_我的世界:Java版开发者们畅聊水域更新
- “征信污点”可消除?征信中心:不可能
- python if用法
- DSP2837x ECAP调试(BLDC霍尔)
- 【Auto.JS】Autojs官方提取文档使用说明函数 (1)
- 请打印出1988年到2019年的所有闰年年份
- Android Camera简单整理(一)-Camera Android架构(基于Q)
热门文章
- Android系统充电系统介绍-预防手机充电爆炸
- Android 亮屏速度分析
- Python3安装(Linux)
- 每日一题(16)—— 声明和定义的区别
- 比较两个表格的不同_两表数据的核对,WPS表格似乎更加方便容易
- JavaScript高级之ECMASript 7、8 、9 、10 新特性
- Vue移动端项目——搜索联想建议功能的实现(结合watch属性和使用lodash防抖节流)
- LeetCode 1244. 力扣排行榜(map+multiset)
- 潜在语义分析(Latent Semantic Analysis,LSA)
- LeetCode 722. CPP删除注释(逻辑题)