python3 sleep 并发_python异步编程之asyncio(百万并发)
点击上方蓝字关注我们
目录
[python 异步编程之 asyncio(百万并发)]
一、asyncio
二、aiohttp
前言:python 由于 GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在 IO 密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了 python 性能方面的短板,如最新的微服务框架 japronto,resquests per second 可达百万级。python 还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio 是python3.4 版本引入到标准库,python2x 没有加这个库,毕竟 python3x 才是未来啊,哈哈!python3.5 又加入了 async/await 特性。在学习 asyncio 之前,我们先来理清楚同步/异步的概念:
同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。
异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。
一、asyncio下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用 sleep(1) 模拟耗时 1 秒的 io 操作。同步代码:
import time
def hello(): time.sleep(1)
def run(): for i in range(5): hello() print('Hello World:%s' % time.time()) # 任何伟大的代码都是从Hello World 开始的!if __name__ == '__main__':
出:(间隔约是1s)
Hello World:1527595175.4728756Hello World:1527595176.473001Hello World:1527595177.473494Hello World:1527595178.4739306Hello World:1527595179.474482
异步代码:
import timeimport asyncio
# 定义异步函数async def hello(): asyncio.sleep(1) print('Hello World:%s' % time.time())
def run(): for i in range(5): loop.run_until_complete(hello())
loop = asyncio.get_event_loop()if __name__ =='__main__': run()
输出:
Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501
async def 用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用 asyncio.get_event_loop() 时会创建事件循环,你需要把异步的任务丢给这个循环的 run_until_complete() 方法,事件循环会安排协同程序的执行。二、aiohttp如果需要并发 http 请求怎么办呢,通常是用 requests,但 requests 是同步的库,如果想异步的话需要引入 aiohttp。这里引入一个类,from aiohttp import ClientSession,首先要建立一个 session 对象,然后用 session 对象去打开网页。session 可以进行多项操作,比如 post, get, put, head 等。基本用法:
async with ClientSession() as session: async with session.get(url) as response:
aiohttp 异步实现的例子:
import asynciofrom aiohttp import ClientSession
tasks = []url = "https://www.baidu.com/{}"async def hello(url): async with ClientSession() as session: async with session.get(url) as response: response = await response.read() print(response)
if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(hello(url))
先 async def 关键字定义了这是个异步函数,await 关键字加在需要等待的操作前面,response.read() 等待 request 响应,是个耗 IO 操作。然后使用ClientSession 类发起 http 请求。多链接异步访问如果我们需要请求多个 URL 该怎么办呢,同步的做法访问多个 URL 只需要加个 for 循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将 hello() 包装在 asyncio 的 Future 对象中,然后将 Future 对象列表作为任务传递给事件循环。
import timeimport asynciofrom aiohttp import ClientSession
tasks = []url = "https://www.baidu.com/{}"async def hello(url): async with ClientSession() as session: async with session.get(url) as response: response = await response.read()# print(response) print('Hello World:%s' % time.time())
def run(): for i in range(5): task = asyncio.ensure_future(hello(url.format(i))) tasks.append(task)
if __name__ == '__main__': loop = asyncio.get_event_loop() run() loop.run_until_complete(asyncio.wait(tasks))
输出:
Hello World:1527754874.8915546Hello World:1527754874.899039Hello World:1527754874.90004Hello World:1527754874.9095392Hello World:1527754874.9190395
收集 http 响应好了,上面介绍了访问不同链接的异步实现方式,但是我们只是发出了请求,如果要把响应一一收集到一个列表中,最后保存到本地或者打印出来要怎么实现呢,可通过 asyncio.gather(*tasks) 将响应全部收集起来,具体通过下面实例来演示。
import timeimport asynciofrom aiohttp import ClientSession
tasks = []url = "https://www.baidu.com/{}"async def hello(url): async with ClientSession() as session: async with session.get(url) as response:# print(response) print('Hello World:%s' % time.time()) return await response.read()
def run(): for i in range(5): task = asyncio.ensure_future(hello(url.format(i))) tasks.append(task) result = loop.run_until_complete(asyncio.gather(*tasks)) print(result)
if __name__ == '__main__': loop = asyncio.get_event_loop() run()
输出:
Hello World:1527765369.0785167Hello World:1527765369.0845182Hello World:1527765369.0910277Hello World:1527765369.0920424Hello World:1527765369.097017[b'\r\n\r\n<html>\r\n<head>\r\n......
异常解决假如你的并发达到2000个,程序会报错:ValueError: too many file descriptors in select()。报错的原因字面上看是 Python 调取的 select 对打开的文件有最大数量的限制,这个其实是操作系统的限制,linux 打开文件的最大数默认是1024,windows 默认是509,超过了这个值,程序就开始报错。这里我们有三种方法解决这个问题:1.限制并发数量。(一次不要塞那么多任务,或者限制最大并发数量)2.使用回调的方式。3.修改操作系统打开文件数的最大限制,在系统里有个配置文件可以修改默认值,具体步骤不再说明了。不修改系统默认配置的话,个人推荐限制并发数的方法,设置并发数为500,处理速度更快。
#coding:utf-8import time,asyncio,aiohttp
url = 'https://www.baidu.com/'async def hello(url,semaphore): async with semaphore: async with aiohttp.ClientSession() as session: async with session.get(url) as response: return await response.read()
async def run(): semaphore = asyncio.Semaphore(500) # 限制并发量为500 to_get = [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务 await asyncio.wait(to_get)
if __name__ == '__main__':# now=lambda :time.time() loop = asyncio.get_event_loop() loop.run_until_complete(run()) loop.close()
http://dwz.date/bCxr
团购、优惠、K8S课程详情扫码咨询>>>
●整理 kubernetes 各种问题汇总
●Docker 遇到的异常和注意点
●Kubernetes 中的 PV 和 PVC 是啥
●运维精华面试题
python3 sleep 并发_python异步编程之asyncio(百万并发)相关推荐
- pythonasyncio并发编程实战_python异步编程之asyncio(百万并发)
[python异步编程之asyncio(百万并发)] 前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病.然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上 ...
- python异步编程之asyncio(百万并发)
前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病.然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的 ...
- python异步asy_Python 异步编程之asyncio【转载】
一.协程的认识 协程(Coroutine),也可以被称为微线程,是一种用户态内的上下文切换技术. 简而言之,其实就是通过一个线程实现代码块相互切换执行.例如:deffunc1():print(1) . ...
- python异步编程之asyncio----百万并发
python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病.然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务 ...
- 异步编程之Promise(2):探究原理
异步编程系列教程: (翻译)异步编程之Promise(1)--初见魅力 异步编程之Promise(2):探究原理 异步编程之Promise(3):拓展进阶 异步编程之Generator(1)--领略魅 ...
- Java 并发编程之美:并发编程高级篇之一-chat
借用 Java 并发编程实践中的话:编写正确的程序并不容易,而编写正常的并发程序就更难了.相比于顺序执行的情况,多线程的线程安全问题是微妙而且出乎意料的,因为在没有进行适当同步的情况下多线程中各个操作 ...
- Java 并发编程之美:并发编程高级篇之一
借用 Java 并发编程实践中的话:编写正确的程序并不容易,而编写正常的并发程序就更难了.相比于顺序执行的情况,多线程的线程安全问题是微妙而且出乎意料的,因为在没有进行适当同步的情况下多线程中各个操作 ...
- python协程实现一万并发_python进阶:服务端实现并发的八种方式
[本文导读]文中有许多不妥之处,敬请批评指正!python编写的服务端,有八种实现并发的方式,如阻塞(对等)套接字实现并发.非阻塞套接字实现并发.epoll实现并发.多进程实现并发.多线程实现并发.进 ...
- Python进阶:并发编程之Asyncio
什么是Asyncio 多线程有诸多优点且应用广泛,但也存在一定的局限性: 比如,多线程运行过程容易被打断,因此有可能出现 race condition 的情况:再如,线程切换本身存在一定的损耗,线程数 ...
最新文章
- swift 组件化_京东商城订单模块基于 Swift 的改造方案与实践
- 从一个路口转向另一个路口需要多少步
- 【洛谷P1378】油滴扩展
- Verilog hdl与VHDL混用详解
- struts2与struts1整合,java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
- “行到水穷处,坐看云起时.“
- 我的工作网怎么样_分享一下我在珍爱网的相亲经历
- 携号转网,用户最关心的还是网络质量
- 离线网页地图开发-详细开发过程
- RocketMQ中文文档(译)
- sb3转换html,scratch3程序如何转成HTML和制作成exe文件转换心得(小白篇)!
- 64位处理器与32位处理器的区别
- 21世纪最需要的七种人才
- 星际争霸II对抗 PYSC2平台 深度强化学习 学习笔记(一)- 环境搭建
- liunx 中文乱码 和 html转图片中文乱码问题处理方式以及linux中文字体包
- 由ANSI标准定义的C语言关键字,C语言32个关键字详解
- EPICS记录参考5 -- 数组模拟输入记录Array Analog Input (aai)
- 校招:滴滴出行相关校招信息
- 算法之递归回溯(四)
- win10修改用户名导致问题及解决
热门文章
- java奇数偶数数组_在Java数组中将数组中的奇数置后偶数置前(两种不同的方法实现)...
- ifix如何设画面大小_天涯明月刀手游研发揭秘:如何做出有“豪华感”的国风MMO大世界?...
- 1-2-3 CodeForces - 863C(规律+思维)
- 等差数列划分 II - 子序列(动态规划)
- win10安装net3.5不成功出现 0x8024402c_在移动硬盘中安装win10和macos双系统
- Tableau---数据可视化软件
- lisp中怎样调取图形_越玩越聪明的图形思维游戏
- 查oracle事务超时时间,ORA-24756: 事务处理不存在 分析
- python内容限制_Python 限制线程的最大数量的方法(Semaphore)
- 背英语单词很困难,不妨学习一下词根词缀吧(每天10个词根、词缀)Part 2