Python | 小白的 Asyncio 教程
作者:adam1q84
原文:https://segmentfault.com/a/1190000008814676
所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。Asyncio 是并发(concurrency)的一种方式。对 Python 来说,并发还可以通过线程(threading)和多进程(multiprocessing)来实现。
Asyncio 并不能带来真正的并行(parallelism)。当然,因为 GIL(全局解释器锁)的存在,Python 的多线程也不能带来真正的并行。可交给 asyncio 执行的任务,称为协程(coroutine)。一个协程可以放弃执行,把机会让给其它协程(即 yield from 或 await)。
定义协程
协程的定义,需要使用 async def 语句。
async def do_some_work(x): pass
do_some_work 便是一个协程。准确来说,do_some_work 是一个协程函数,可以通过 asyncio.iscoroutinefunction 来验证:
print(asyncio.iscoroutinefunction(do_some_work)) # True
这个协程什么都没做,我们让它睡眠几秒,以模拟实际的工作量 :
async def do_some_work(x):print("Waiting " + str(x))await asyncio.sleep(x)
在解释 await 之前,有必要说明一下协程可以做哪些事。协程可以:
* 等待一个 future 结束
* 等待另一个协程(产生一个结果,或引发一个异常)
* 产生一个结果给正在等它的协程
* 引发一个异常给正在等它的协程
asyncio.sleep 也是一个协程,所以 await asyncio.sleep(x) 就是等待另一个协程。可参见 asyncio.sleep 的文档:
sleep(delay, result=None, *, loop=None)
# Coroutine that completes after a given time (in seconds).
运行协程
调用协程函数,协程并不会开始运行,只是返回一个协程对象,可以asyncio.iscoroutine 来验证:
print(asyncio.iscoroutine(do_some_work(3))) # True
此处还会引发一条警告:
async1.py:16: RuntimeWarning: coroutine 'do_some_work' was never awaitedprint(asyncio.iscoroutine(do_some_work(3)))
要让这个协程对象运行的话,有两种方式:
* 在另一个已经运行的协程中用 `await` 等待它
* 通过 `ensure_future` 函数计划它的执行
简单来说,只有 loop 运行了,协程才可能运行。下面先拿到当前线程缺省的 loop ,然后把协程对象交给 loop.run_until_complete,协程对象随后会在 loop 里得到运行。
loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))
run_until_complete 是一个阻塞(blocking)调用,直到协程运行结束,它才返回。这一点从函数名不难看出。run_until_complete 的参数是一个 future,但是我们这里传给它的却是协程对象,之所以能这样,是因为它在内部做了检查,通过 ensure_future 函数把协程对象包装(wrap)成了 future。所以,我们可以写得更明显一些:
loop.run_until_complete(asyncio.ensure_future(do_some_work(3)))
完整代码:
import asyncioasync def do_some_work(x):print("Waiting " + str(x))await asyncio.sleep(x)loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))
运行结果:
Waiting 3
<三秒钟后程序结束>
回调
假如协程是一个 IO 的读操作,等它读完数据后,我们希望得到通知,以便下一步数据的处理。这一需求可以通过往 future 添加回调来实现。
def done_callback(futu):print('Done')futu = asyncio.ensure_future(do_some_work(3))
futu.add_done_callback(done_callback)loop.run_until_complete(futu)
多个协程
实际项目中,往往有多个协程,同时在一个 loop 里运行。为了把多个协程交给 loop,需要借助 asyncio.gather 函数。
loop.run_until_complete(asyncio.gather(do_some_work(1), do_some_work(3)))
或者先把协程存在列表里:
coros = [do_some_work(1), do_some_work(3)]
loop.run_until_complete(asyncio.gather(*coros))
运行结果:
Waiting 3
Waiting 1
<等待三秒钟>
Done
这两个协程是并发运行的,所以等待的时间不是 1 + 3 = 4 秒,而是以耗时较长的那个协程为准。
参考函数 gather 的文档:
gather(*coros_or_futures, loop=None, return_exceptions=False)
Return a future aggregating results from the given coroutines or futures.
发现也可以传 futures 给它:
futus = [asyncio.ensure_future(do_some_work(1)),asyncio.ensure_future(do_some_work(3))]loop.run_until_complete(asyncio.gather(*futus))
gather 起聚合作用,把多个 futures 包装成单个 future,因为 loop.run_until_complete 只接受单个 future。
run_until_complete 和 run_forever
我们一直通过 run_until_complete 来运行 loop ,等到 future 完成, run_until_complete 也就返回了。
async def do_some_work(x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop = asyncio.get_event_loop()coro = do_some_work(3)
loop.run_until_complete(coro)
输出:
Waiting 3
<等待三秒钟>
Done
<程序退出>
现在改用 run_forever:
async def do_some_work(x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop = asyncio.get_event_loop()coro = do_some_work(3)
asyncio.ensure_future(coro)loop.run_forever()
输出:
Waiting 3
<等待三秒钟>
Done
<程序没有退出>
三秒钟过后,future 结束,但是程序并不会退出。run_forever 会一直运行,直到 stop 被调用,但是你不能像下面这样调 stop:
loop.run_forever()
loop.stop()
run_forever 不返回,stop 永远也不会被调用。所以,只能在协程中调 stop:
async def do_some_work(loop, x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop.stop()
这样并非没有问题,假如有多个协程在 loop 里运行:
asyncio.ensure_future(do_some_work(loop, 1))
asyncio.ensure_future(do_some_work(loop, 3))loop.run_forever()
第二个协程没结束,loop 就停止了——被先结束的那个协程给停掉的。要解决这个问题,可以用 gather 把多个协程合并成一个 future,并添加回调,然后在回调里再去停止 loop。
async def do_some_work(loop, x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')def done_callback(loop, futu):loop.stop()loop = asyncio.get_event_loop()futus = asyncio.gather(do_some_work(loop, 1), do_some_work(loop, 3))
futus.add_done_callback(functools.partial(done_callback, loop))loop.run_forever()
其实这基本上就是 run_until_complete 的实现了,run_until_complete 在内部也是调用 run_forever。
Close Loop?
以上示例都没有调用 loop.close,好像也没有什么问题。所以到底要不要调 loop.close 呢?
简单来说,loop 只要不关闭,就还可以再运行。:
loop.run_until_complete(do_some_work(loop, 1))
loop.run_until_complete(do_some_work(loop, 3))
loop.close()
但是如果关闭了,就不能再运行了:
loop.run_until_complete(do_some_work(loop, 1))
loop.close()
loop.run_until_complete(do_some_work(loop, 3)) # 此处异常
建议调用 loop.close,以彻底清理 loop 对象防止误用。
gather vs. wait
asyncio.gather 和 asyncio.wait 功能相似。
coros = [do_some_work(loop, 1), do_some_work(loop, 3)]
loop.run_until_complete(asyncio.wait(coros))
具体差别可请参见 StackOverflow 的讨论:Asyncio.gather vs asyncio.wait。
C++ Boost.Asio 提供了 IO 对象 timer,但是 Python 并没有原生支持 timer,不过可以用 asyncio.sleep 模拟。
async def timer(x, cb):futu = asyncio.ensure_future(asyncio.sleep(x))futu.add_done_callback(cb)await futut = timer(3, lambda futu: print('Done'))
loop.run_until_complete(t)
Python | 小白的 Asyncio 教程相关推荐
- Python小白数据可视化教程:PyEcharts 精讲
点击"简说Python",选择"置顶/星标公众号" 福利干货,第一时间送达! 本文授权转载自王的机器 禁二次转载 作者:王圣元 阅读文本大概需要 24 分钟 老 ...
- python loop until_非常适合小白的 Asyncio 教程
原文: https://segmentfault.com/a/1190000008814676 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得 ...
- 非常适合小白的 Asyncio 教程
点击上方小詹学Python,选择"标星公众号" 优质文章,第一时间送达 原文:https://segmentfault.com/a/1190000008814676 所谓「异步 I ...
- 写给小白的 Asyncio 教程
来源:https://segmentfault.com/a/1190000008814676 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到 ...
- 适合小白的 Asyncio 教程!
点击上方"Python乱炖",选择"加为星标" 第一时间关注Python技术干货! 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做 ...
- 01-为什么要学爬虫-python小白爬虫入门教程
学习目的以及需求 需求来自于:抓取的某个网站或者某个应用的内容,提取有用的价值 实现手段 模拟用户在浏览器或者应用(app)上的操作,实现自动化的程序 爬虫应用场景(利用爬虫能做什么?) 大家最熟悉的 ...
- Python小白数据科学教程:SciPy精讲
点击"简说Python",选择"置顶/星标公众号" 福利干货,第一时间送达! 本文作者:王圣元 转载自:王的机器 本文预计阅读时间30分钟,实用性高,老表建议先 ...
- python入门基础系列_03python—9个基础常识-python小白入门系列
<python小白入门系列教程> 专栏 • 第03篇 文 | xc_718 深度好文:1828字 | 4分钟阅读 1. 注释 1)单行注释:****# #注释内容 print('123 ...
- python入门基础系列八_03python—9个基础常识-python小白入门系列
<python小白入门系列教程> 专栏 • 第03篇 文 | xc_718 深度好文:1828字 | 4分钟阅读 1. 注释 1)单行注释:##注释内容 print('123') #1 ...
最新文章
- OpenCV中泛洪填充算法解析与应用
- 机器学习项目实战----信用卡欺诈检测
- 定时任务重启后执行策略_quartz定时任务框架调度机制解析
- Android网络编程之使用HTTP訪问网络资源
- flex 还有人用么_11月LSAT-FLEX:考或不考对今年的申请有什么影响?
- selinux禁用后系统无法正常启动的问题
- 【最详细解析】1070 结绳 (25分)_18行代码AC
- 弱鸡儿长乐爆肝旅Day8
- centos 最小化安装 补充命令_CentOS7安装后没网络的解决方法
- adb shell screencap/screenrecord(三级命令)
- Github注册中,邮箱验证通不过解决办法
- QT 如何在其他类中修改UI控件的属性?
- Ubuntu恢复官方默认源
- C++学习(四一七)AndroidStudio中的libs和jniLibs
- Mode Collapse 和 Mode Dropping的定义与不同
- win10小课堂:微信电脑端多开方法
- [ZJOI2009]狼和羊的故事 题解
- 2021年最新Android面试点梳理,成功入职腾讯
- 夏日闪电惊雷想念父亲
- 2021年起重机司机(限桥式起重机)考试题库及起重机司机(限桥式起重机)新版试题
热门文章
- 瑞典皇家理工学院计算机科学世界排名,2017瑞典皇家理工学院世界排名
- 衡量连通图连通性一些指标(r-reachable, r-robust)
- 网传三星手机大半夜黑屏乱码,原因竟然是闰四月?
- JAVA实现:居民电费阶梯式计价器
- 如何打造自己的PoC框架-Pocsuite3-框架篇
- JVM2:垃圾收集器与内存分配策略
- CVPR 2021 华南理工和微信的Transformer:UP-DETR无监督预训练检测器
- vivo手机可以升级鸿蒙系统,什么手机可以刷鸿蒙系统?vivo、OPPO、三星手机刷鸿蒙系统教程...
- 重磅:Mobileye官宣推迟IPO,营收增速放缓、市场竞争加剧
- 双十一全零售领域狂欢 请了明星代言商家真的能赚到钱吗?