来源:https://segmentfault.com/a/1190000008814676

所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

Asyncio 是并发(concurrency)的一种方式。对 Python 来说,并发还可以通过线程(threading)和多进程(multiprocessing)来实现。

Asyncio 并不能带来真正的并行(parallelism)。当然,因为 GIL(全局解释器锁)的存在,Python 的多线程也不能带来真正的并行。

可交给 asyncio 执行的任务,称为协程(coroutine)。一个协程可以放弃执行,把机会让给其它协程(即 yield fromawait)。

1. 定义协程

协程的定义,需要使用 async def 语句。

async def do_some_work(x): pass

do_some_work 便是一个协程。
准确来说,do_some_work 是一个协程函数,可以通过 asyncio.iscoroutinefunction 来验证:

print(asyncio.iscoroutinefunction(do_some_work)) # True

这个协程什么都没做,我们让它睡眠几秒,以模拟实际的工作量 :

async def do_some_work(x):print("Waiting " + str(x))await asyncio.sleep(x)

在解释 await 之前,有必要说明一下协程可以做哪些事。协程可以:

  • 等待一个 future 结束

  • 等待另一个协程(产生一个结果,或引发一个异常)

  • 产生一个结果给正在等它的协程

  • 引发一个异常给正在等它的协程

asyncio.sleep 也是一个协程,所以 await asyncio.sleep(x) 就是等待另一个协程。可参见 asyncio.sleep 的文档:

sleep(delay, result=None, *, loop=None)
Coroutine that completes after a given time (in seconds).

2. 运行协程

调用协程函数,协程并不会开始运行,只是返回一个协程对象,可以通过 asyncio.iscoroutine 来验证:

print(asyncio.iscoroutine(do_some_work(3))) # True

此处还会引发一条警告:

async1.py:16: RuntimeWarning: coroutine 'do_some_work' was never awaitedprint(asyncio.iscoroutine(do_some_work(3)))

要让这个协程对象运行的话,有两种方式:

  • 在另一个已经运行的协程中用 await 等待它

  • 通过 ensure_future 函数计划它的执行

简单来说,只有 loop 运行了,协程才可能运行。
下面先拿到当前线程缺省的 loop ,然后把协程对象交给 loop.run_until_complete,协程对象随后会在 loop 里得到运行。

loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))

run_until_complete 是一个阻塞(blocking)调用,直到协程运行结束,它才返回。这一点从函数名不难看出。
run_until_complete 的参数是一个 future,但是我们这里传给它的却是协程对象,之所以能这样,是因为它在内部做了检查,通过 ensure_future 函数把协程对象包装(wrap)成了 future。所以,我们可以写得更明显一些:

loop.run_until_complete(asyncio.ensure_future(do_some_work(3)))

完整代码:

import asyncioasync def do_some_work(x):print("Waiting " + str(x))await asyncio.sleep(x)loop = asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))

运行结果:

Waiting 3
<三秒钟后程序结束>

3. 回调函数

假如协程是一个 IO 的读操作,等它读完数据后,我们希望得到通知,以便下一步数据的处理。这一需求可以通过往 future 添加回调来实现。

def done_callback(futu):print('Done')futu = asyncio.ensure_future(do_some_work(3))
futu.add_done_callback(done_callback)loop.run_until_complete(futu)

4. 多个协程

实际项目中,往往有多个协程,同时在一个 loop 里运行。为了把多个协程交给 loop,需要借助 asyncio.gather 函数。

loop.run_until_complete(asyncio.gather(do_some_work(1), do_some_work(3)))

或者先把协程存在列表里:

coros = [do_some_work(1), do_some_work(3)]
loop.run_until_complete(asyncio.gather(*coros))

运行结果:

Waiting 3
Waiting 1
<等待三秒钟>
Done

这两个协程是并发运行的,所以等待的时间不是 1 + 3 = 4 秒,而是以耗时较长的那个协程为准。

参考函数 gather 的文档:

gather(*coros_or_futures, loop=None, return_exceptions=False)
Return a future aggregating results from the given coroutines or futures.

发现也可以传 futures 给它:

futus = [asyncio.ensure_future(do_some_work(1)),asyncio.ensure_future(do_some_work(3))]loop.run_until_complete(asyncio.gather(*futus))

gather 起聚合的作用,把多个 futures 包装成单个 future,因为 loop.run_until_complete 只接受单个 future。

5. run_until_complete和run_forever

我们一直通过 run_until_complete 来运行 loop ,等到 future 完成,run_until_complete 也就返回了。

async def do_some_work(x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop = asyncio.get_event_loop()coro = do_some_work(3)
loop.run_until_complete(coro)

输出:

Waiting 3
<等待三秒钟>
Done
<程序退出>

现在改用 run_forever

async def do_some_work(x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop = asyncio.get_event_loop()coro = do_some_work(3)
asyncio.ensure_future(coro)loop.run_forever()

输出:

Waiting 3
<等待三秒钟>
Done
<程序没有退出>

三秒钟过后,future 结束,但是程序并不会退出。run_forever 会一直运行,直到 stop 被调用,但是你不能像下面这样调 stop

loop.run_forever()
loop.stop()

run_forever 不返回,stop 永远也不会被调用。所以,只能在协程中调 stop

async def do_some_work(loop, x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')loop.stop()

这样并非没有问题,假如有多个协程在 loop 里运行:

asyncio.ensure_future(do_some_work(loop, 1))
asyncio.ensure_future(do_some_work(loop, 3))loop.run_forever()

第二个协程没结束,loop 就停止了——被先结束的那个协程给停掉的。
要解决这个问题,可以用 gather 把多个协程合并成一个 future,并添加回调,然后在回调里再去停止 loop。

async def do_some_work(loop, x):print('Waiting ' + str(x))await asyncio.sleep(x)print('Done')def done_callback(loop, futu):loop.stop()loop = asyncio.get_event_loop()futus = asyncio.gather(do_some_work(loop, 1), do_some_work(loop, 3))
futus.add_done_callback(functools.partial(done_callback, loop))loop.run_forever()

其实这基本上就是 run_until_complete 的实现了,run_until_complete 在内部也是调用 run_forever

6. Close Loop?

以上示例都没有调用 loop.close,好像也没有什么问题。所以到底要不要调 loop.close 呢?
简单来说,loop 只要不关闭,就还可以再运行。:

loop.run_until_complete(do_some_work(loop, 1))
loop.run_until_complete(do_some_work(loop, 3))
loop.close()

但是如果关闭了,就不能再运行了:

loop.run_until_complete(do_some_work(loop, 1))
loop.close()
loop.run_until_complete(do_some_work(loop, 3))  # 此处异常

建议调用 loop.close,以彻底清理 loop 对象防止误用。

7. gather 和 wait

asyncio.gatherasyncio.wait 功能相似。

coros = [do_some_work(loop, 1), do_some_work(loop, 3)]
loop.run_until_complete(asyncio.wait(coros))

具体差别可请参见 StackOverflow 的讨论:Asyncio.gather vs asyncio.wait。

8. Timer

C++ Boost.Asio 提供了 IO 对象 timer,但是 Python 并没有原生支持 timer,不过可以用 asyncio.sleep 模拟。

async def timer(x, cb):futu = asyncio.ensure_future(asyncio.sleep(x))futu.add_done_callback(cb)await futut = timer(3, lambda futu: print('Done'))
loop.run_until_complete(t)

-END-

往期文章

教你部署开源的Python超漂亮电子商城 — Saleor

熬夜到虚脱整理出来的Python的正则表达式总结

用 PyQt 打造具有专业外观的 GUI

Python包引用还不懂?!!

写给小白的 Asyncio 教程相关推荐

  1. python loop until_非常适合小白的 Asyncio 教程

    原文: https://segmentfault.com/a/1190000008814676 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得 ...

  2. 非常适合小白的 Asyncio 教程

    点击上方小詹学Python,选择"标星公众号" 优质文章,第一时间送达 原文:https://segmentfault.com/a/1190000008814676 所谓「异步 I ...

  3. Python | 小白的 Asyncio 教程

    作者:adam1q84 原文:https://segmentfault.com/a/1190000008814676 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事 ...

  4. 适合小白的 Asyncio 教程!

    点击上方"Python乱炖",选择"加为星标" 第一时间关注Python技术干货! 所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做 ...

  5. 一天学会SQL,写给小白的数据库教程

    前言 互联网产品的主要组成部分,就是程序+数据,程序负责处理逻辑,数据负责存储信息,从事IT相关行业,如运营.产品等,了解数据库知识,对工作有很大的帮助,熟悉数据库后,可以拿到一手底层数据,进行数据分 ...

  6. python小白从哪来开始-写给小白的工程师入门 - 从 Python 开始

    题图:pexels 这是我面向小白写的 Python 编程教程的第一篇.周三已经抓勺子同学上完了这节课,得到了很多珍贵反馈,于是我把讲义初版又修改了一遍,放到⌈影子练习SinanTalk⌋上来. 原本 ...

  7. vue2+vue3小白零基础教程—vue2篇,全网2021最详细教程

    vue教程 提示:Vue3系列请参考Vue2+Vue3小白零基础教程-vue3篇文章,本文为vue2篇. 1. Vue核心 1.1 Vue简介 1.1.1 Vue是什么 一套用于构建用户界面的渐进式J ...

  8. 怎样建一个属于自己的网站?(小白建站教程)

    怎样建一个属于自己的网站?(小白建站教程)副业项目 首先说说为什么要建一个自己的网站,目前虽然自媒体发达,但是规则太多,动不动就会封号禁言,而自己的网站的话只要不违法,都可以往上写,往上搬.而且当ip ...

  9. 和cnn结合_写给小白的R-CNN介绍

    在上一篇写给小白的YOLO介绍中,我介绍了目标检测的任务类型和YOLO的基本方法. 实际上,R-CNN是比YOLO更早的方法,但是因为它对后面的许多目标检测方法都有指导意义,所以我们还是介绍一下. 下 ...

最新文章

  1. 利用OpenGL渲染并用OpenCV输出显示二维图像
  2. python3 image与 图像io互转
  3. 多传感器信息融合算法总结
  4. XGBoost相关知识-1
  5. 【prometheus API】删除指定指标数据
  6. 给定的 columnmapping 与源或目标中的任意列均不匹配_闻歌研究 | 图文自动匹配任务研究调研...
  7. Spark入门(十八)之多表关联
  8. Android Gallery控件使用方法详解
  9. 00058 imp_IMP-00058: ORACLE error 12154 encountered
  10. 挑战Unity、UE4,曾戈祭出次世代VR引擎
  11. saltstack 系列(三)centos7使用saltstack小试牛刀
  12. How-to: Tune Your Apache Spark Jobs (Part 1)
  13. How to shrink disk for KVM
  14. Robo 3T使用教程--MongoDB篇(极简)
  15. 星星之火-58:CPRI协议缺点,eCPRI协议是如何克服CPRI协议的不足?
  16. 双眼融合训练一个月_最好的双眼视功能训练方法
  17. 暴风影音播放时如何旋转视频
  18. 红米AC3000、小米cr8806、8808、8809成功刷入openwrt
  19. (11)点云数据处理学习——Colored point cloud registration(彩色点注册)
  20. python打包二进制文件(pyd\dll\exe)

热门文章

  1. 荣耀30sr升级鸿蒙,华为荣耀30怎么升级鸿蒙系统?
  2. 关于销售订单高级定价的一点疑惑
  3. 金融初学者的感受:兴趣的魔力
  4. 刚开始做斗音掌握这5点至少让你少走半年弯路
  5. Java在手机平台上的Porting
  6. “游匣”冲击暑期档——戴尔为中国用户定制笔记本电脑
  7. SLO 和 SLI的最佳实践
  8. 求表达式 根号下ab的值
  9. 王者荣耀 兵线刷新时间计数器 || 程咬金 水晶断兵线时间
  10. 小米盒子 刷系统 参考方法