aiohttp 高并发web服务_【Python入门】50.异步IO之 asyncio实现异步操作
摘要:如何通过asyncio实现异步IO;用aiohttp模块编写支持多用户高并发的服务器。
*写在前面:为了更好的学习python,博主记录下自己的学习路程。本学习笔记基于廖雪峰的Python教程,如有侵权,请告知删除。欢迎与博主一起学习Pythonヽ( ̄▽ ̄)ノ *
目录
异步IO
asyncio
async/await
aiohttp
小结
异步IO
asyncio
asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。
我们只要从asyncio模块中获取一个EventLoop的引用,然后把需要执行的协程放到EventLoop中执行,就可以实现异步IO了。
我们看个简单的例子:
import asyncio
@asyncio.coroutine
def A():
print('Hello, A!')
r = yield from asyncio.sleep(1)
print('Hello again!')
@asyncio.coroutine
def B():
print('Hello, B!')
r = yield from asyncio.sleep(1)
print('Hello again!')
loop = asyncio.get_event_loop() # 获取EventLoop的引用
tasks = [A(),B()] # 把两个coroutine封装起来
loop.run_until_complete(asyncio.wait(tasks)) # 把封装好的coroutine放到EventLoop中执行
loop.close()
语句@asyncio.coroutine是把紧接的generator标记为协程coroutine类型。
语句yield from可以调用另一个generator,并且拿取返回值(这里为None)。
语句asyncio.sleep(1)可以当作是一个耗时1秒的IO操作。
定义好coroutine之后,把它们封装好,放入EventLoop中执行即可。
运行结果:
Hello, B!
Hello, A!
(间隔约1秒)
Hello again!
Hello again!
可以看到coroutine A和coroutine B是并发执行的。
如果把asyncio.sleep()换成真正的IO操作,就可以实现多个coroutine就由一个线程并发执行的异步IO操作了。
我们用asyncio的异步网络连接来获取sina、sohu和163的网站首页(例子源自廖雪峰官网):
import asyncio
@asyncio.coroutine
def wget(host):
print('wget %s...' % host)
connect = asyncio.open_connection(host, 80)
reader, writer = yield from connect
header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
writer.write(header.encode('utf-8'))
yield from writer.drain()
while True:
line = yield from reader.readline()
if line == b'\r\n':
break
print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
# Ignore the body, close the socket
writer.close()
loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
执行结果:
wget www.sohu.com...
wget www.sina.com.cn...
wget www.163.com...
(等待一段时间)
(打印出sohu的header)
www.sohu.com header > HTTP/1.1 200 OK
www.sohu.com header > Content-Type: text/html
...
(打印出sina的header)
www.sina.com.cn header > HTTP/1.1 200 OK
www.sina.com.cn header > Date: Wed, 20 May 2015 04:56:33 GMT
...
(打印出163的header)
www.163.com header > HTTP/1.0 302 Moved Temporarily
www.163.com header > Server: Cdn Cache Server V2.0
...
async/await
在Python3.5版本中,引入了新语法async和await,让coroutine的代码更简洁易读。
其中:
async用于替换之前的@asyncio.coroutine。
await用于替换之前的yield from。
我们用更为简洁的语法把上面的代码重新编写一下:
import asyncio
async def wget(host):
print('wget %s...' % host)
connect = asyncio.open_connection(host, 80)
reader, writer = await connect
header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
writer.write(header.encode('utf-8'))
await writer.drain()
while True:
line = await reader.readline()
if line == b'\r\n':
break
print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
writer.close()
loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
执行结果与上面一致。
需要注意的是,新语法是Python3.5及之后的版本使用,若是3.4及之前的版本,仍需要用之前的语法。
aiohttp
在上面的例子中,asyncio用在了客户端上。
实际上asyncio多用在服务器端上,例如Web服务器。由于HTTP连接就是IO操作,通过asyncio可以实现多用户的高并发支持。
而aiohttp是基于asyncio实现的HTTP框架。
aiohttp没有内置,需要通过pip下载安装:
pip install aiohttp
我们试一下用aiohttp编写一个服务器,来处理下面两个URL:
/:首页,返回b'
Index
';
/hello/{name}:根据URL参数返回文本hello, %s!。
代码如下 (源自廖雪峰官网):
import asyncio
from aiohttp import web
async def index(request):
await asyncio.sleep(0.5)
return web.Response(body=b'
Index
', content_type='text/html')
async def hello(request):
await asyncio.sleep(0.5)
text = '
hello, %s!
' % request.match_info['name']
return web.Response(body=text.encode('utf-8'), content_type='text/html')
async def init(loop):
app = web.Application(loop=loop)
app.router.add_route('GET', '/', index)
app.router.add_route('GET', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000) # 创建TCP服务
print('Server started at http://127.0.0.1:8000...')
return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()
运行之后,在浏览器中输入http://localhost:8000/hello/xxx,结果如下:
aiohttp.png
小结
asyncio提供了完善的异步IO支持;
异步操作需要在coroutine中通过yield from完成;
把coroutine放到asyncio提供EventLoop引用中执行,即可实现异步操作;
在Python3.5及之后的版本中,语法@asyncio.coroutine替换成async,语法yield from替换成await。
异步IO更多用于服务器端,通过aiohttp模块,可以简单地编写出支持多用户高并发的服务器。
以上就是本节的全部内容,感谢你的阅读。
有任何问题与想法,欢迎评论与吐槽。
和博主一起学习Python吧( ̄▽ ̄)~*
aiohttp 高并发web服务_【Python入门】50.异步IO之 asyncio实现异步操作相关推荐
- aiohttp 高并发web服务_能看懂的aiohttp
asyncio可以实现单线程并发IO操作.如果仅用在客户端,发挥的威力不大.如果把asyncio用在服务器端,例如Web服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine实现多 ...
- aiohttp 高并发web服务_python后台——asyncio,aiohttp入门教程,多进程+asyncio
全栈工程师开发手册 (作者:栾鹏) 架构系列文章 注意: python的异步返回有时是通过异常expection向上冒泡的, 在异步函数中使用try catch有时无法捕获某些异常的, 异常会作为返回 ...
- aiohttp 高并发web服务_UE4 unity3d连接高并发http服务器
1.HTTP服务器使用c++语言开发,vs2019编辑器.支持windows和linux.服务器主要用于游戏服务器后台,以及APP 应用后台增.删.查.改数据. 2.服务器使用多线程技术,以及使用线程 ...
- python asyncio_Python 的异步 IO:Asyncio 简介
原标题:Python 的异步 IO:Asyncio 简介 Python 的 asyncio 类似于 C++ 的 Boost.Asio. 异步 IO,就是你发起一个 IO 操作,不用等它结束,可以继续做 ...
- 高并发Web服务的演变:节约系统内存和CPU
一.越来越多的并发连接数 现在的Web系统面对的并发连接数在近几年呈现指数增长,高并发成为了一种常态,给Web系统带来不小的挑战.以最简单粗暴的方式解决,就是增加Web系统的机器和升级硬件配置.虽然现 ...
- pyTorch模型部署--高并发web服务c++移动端ncnn
文章目录 1 综述 2 以python web服务的形式进行部署 3 c++调用方式进行部署 3.1 torchscript 3.1.1 模型转换 3.1.1.1 torch.jit.trace 3. ...
- android 高并发服务端,GitHub - android-coco/chat: 支持10万人同时在线 Go语言打造高并发web即时聊天(IM)应用...
IM 支持10万人同时在线 Go语言打造高并发web即时聊天(IM)应用 部署前准备 配置文件 config/config.yml 样例: # 服务端监听配置 service: port: :8181 ...
- PHP_MVC框架开发,nosql学习,mysql优化,以及高并发web架构处理
文章目录 定义入口文件 完成自动加载 路由类 .htaccess explode trim array_slice 实现 控制器 加载控制器 数据库 初始化连接 数据查询函数 视图 extract 其 ...
- 互联网公司高并发图片存储服务架构设计一
非常感谢http://blog.csdn.net/lizhitao/article/details/9323137 高并发图片存储服务架构技术学习 https://www.itkc8.com 互联网公 ...
最新文章
- legend位置 pyecharts_实验|pyecharts数据可视化分析-1
- 利用bigpipe机制实现页面模块的异步渲染 chunked技术
- 小米立Flag:要做年轻人的第一个深度学习框架
- 基于图像的三维模型重建——基础介绍
- python在线编辑器最新_skulpt搭建Python在线编译器(一):下载、安装
- Python 把OpenCV 获取的图像传递到C
- SEO优化技巧:16个方法优化网页中的图片
- 【数据结构与算法】之深入解析“二叉树的中序遍历”的求解思路与算法示例
- 苹果又想出涨价新招,iPhone 12将标配AirPods耳机?
- 山东CIO智库会员参观徐工信息公司
- 蓝桥杯 ADV-103 算法提高 逆序排列
- IDEA破解教程(破解到2100年)的注意事项
- 穿越时空的爱恋-Z80 CPU的前世今生
- Kubernetes笔记(八) Kubernetes 安全
- Chrome浏览器导出Excel,失败-网络错误
- 遥感(1):遥感是什么?
- HTML5与HTML4的差异对比(1)
- 使用Docker还是Rocket?也许可以一起来
- 宝贝上传店铺后把图片空间的图片删了有影响吗
- 炎炎夏日适合在屋里学习深度学习
热门文章
- CTF(pwn) Fastbin Attack
- python中的闭包与装饰器教程
- Python函数的定义和使用
- python挖坑法实现快排
- 使用 Python 在 Linux 上实现一键回归测试
- python 怎么安装opencv?
- Special Numbers 进制(1100)
- java常用的排序算法的思想以及实现
- 单片机数据在网页上显示_不务正业的Excel也玩地图,在地图上显示数据,好玩又简单...
- android 动画 最顶层_【Android编程实战】StrandHogg漏洞复现及原理分析_Android系统上的维京海盗...