使用tornado让你的请求异步非阻塞
2019独角兽企业重金招聘Python工程师标准>>>
前言
也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良好. 后来发现,打开页面会有很多请求后端数据库的访问,有一个mongodb的数据库业务api的rest服务.但是它的tornado却用错了,一步步的来研究问题:
说明
以下的例子都有2个url,一个是耗时的请求,一个是可以或者说需要立刻返回的请求,我想就算一个对技术不熟,从道理上来说的用户, 他希望的是他访问的请求不会影响也不会被其他人的请求影响
#!/bin/env pythonimport tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webimport tornado.httpclientimport timefrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=int)class SleepHandler(tornado.web.RequestHandler): def get(self): time.sleep(5) self.write("when i sleep 5s")class JustNowHandler(tornado.web.RequestHandler): def get(self): self.write("i hope just now see you")if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[ (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
假如你使用页面请求或者使用哪个httpie,curl等工具先访问http://localhost:8000/sleep,再访问http: //localhost:8000/justnow.你会发现本来可以立刻返回的/jsutnow的请求会一直阻塞到/sleep请求完才返回.
这是为啥?为啥我的请求被/sleep请求阻塞了?如果平时我们的web请求足够快我们可能不会意识到这个问题,但是事实上经常会有一些耗时的进程,意味着应用程序被有效的锁定直至处理结束.
这是时候你有没有想起@tornado.web.asynchronous这个装饰器?但是使用这个装饰器有个前提就是你要耗时的执行需要执行异步,比如上面的time.sleep,你只是加装饰器是没有作用的,而且需要注意的是 Tornado默认在函数处理返回时关闭客户端的连接,但是当你使用@tornado.web.asynchonous装饰器时,Tornado永远不会自己关闭连接,需要显式的self.finish()关闭
我们大部分的函数都是阻塞的, 比如上面的time.sleep其实tornado有个异步的实现:
#!/bin/env pythonimport tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webimport tornado.genimport tornado.httpclientimport tornado.concurrentimport tornado.ioloopimport timefrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=int)class SleepHandler(tornado.web.RequestHandler): @tornado.web.asynchronous @tornado.gen.coroutine def get(self): yield tornado.gen.Task(tornado.ioloop.IOLoop.instance().add_timeout, time.time() + 5) self.write("when i sleep 5s")class JustNowHandler(tornado.web.RequestHandler): def get(self): self.write("i hope just now see you")if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[ (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
这里有个新的tornado.gen.coroutine装饰器, coroutine是3.0之后新增的装饰器.以前的办法是用回调,还是看我这个例子:
class SleepHandler(tornado.web.RequestHandler): @tornado.web.asynchronous def get(self): tornado.ioloop.IOLoop.instance().add_timeout(time.time() + 5, callback=self.on_response) def on_response(self): self.write("when i sleep 5s") self.finish()
使用了callback, 但是新的装饰器让我们通过yield实现同样的效果:你在打开/sleep之后再点击/justnow, justnow的请求都是立刻返回不受影响.但是用了asynchronous的装饰器你的耗时的函数也需要执行异步
刚才说的都是没有意义的例子,下面写个有点用的:读取mongodb数据库数据,然后再前端按行write出来
#!/bin/env pythonimport tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webimport tornado.genimport tornado.httpclientimport tornado.concurrentimport tornado.ioloopimport time# 一个mongodb出品的支持异步的数据库的python驱动import motorfrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=int)# db其实就是test数据库的游标db = motor.MotorClient().open_sync().testclass SleepHandler(BaseHandler): @tornado.web.asynchronous @tornado.gen.coroutine def get(self): # 这一行执行还是阻塞需要时间的,我的tt集合有一些数据并且没有索引 cursor = db.tt.find().sort([('a', -1)]) # 这部分会异步非阻塞的执行二不影响其他页面请求 while (yield cursor.fetch_next): message = cursor.next_object() self.write('<li>%s</li>' % message['a']) self.write('</ul>') self.finish() def _on_response(self, message, error): if error: raise tornado.web.HTTPError(500, error) elif message: for i in message: self.write('<li>%s</li>' % i['a']) else: self.write('</ul>') self.finish()class JustNowHandler(BaseHandler): def get(self): self.write("i hope just now see you")if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[ (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
一个同事提示为什么这个耗时的东西不能异步的丢给某工具去执行而不阻塞我的请求呢?好吧,我也想到了:celery,正好github有这个东西:tornado-celery
执行下面的程序首先你要安装rabbitmq和celery:
#!/bin/env pythonimport tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webimport tornado.genimport tornado.httpclientimport tcelery, tasksimport timefrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=int)tcelery.setup_nonblocking_producer()class SleepHandler(tornado.web.RequestHandler): @tornado.web.asynchronous @tornado.gen.coroutine def get(self): # tornado.gen.Task的参数是:要执行的函数, 参数 yield tornado.gen.Task(tasks.sleep.apply_async, args=[5]) self.write("when i sleep 5s") self.finish()class JustNowHandler(tornado.web.RequestHandler): def get(self): self.write("i hope just now see you")if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[ (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
task是celery的任务定义的文件,包含我们说的time.sleep的函数
import timefrom celery import Celerycelery = Celery("tasks", broker="amqp://guest:guest@localhost:5672")celery.conf.CELERY_RESULT_BACKEND = "amqp"@celery.taskdef sleep(seconds): time.sleep(float(seconds)) return secondsif __name__ == "__main__": celery.start()
然后启动celelry worker(要不然你的任务怎么执行呢?肯定需要一个消费者取走):
celery -A tasks worker --loglevel=info
但是这里的问题也可能很严重:我们的异步非阻塞依赖于celery,还是这个队列的长度,假如任务很多那么就需要等待,效率很低.有没有一种办法把我的同步阻塞函数变为异步(或者说被tornado的装饰器理解和识别)呢?
#!/bin/env pythonimport tornado.httpserverimport tornado.ioloopimport tornado.optionsimport tornado.webimport tornado.httpclientimport tornado.genfrom tornado.concurrent import run_on_executor# 这个并发库在python3自带在python2需要安装sudo pip install futuresfrom concurrent.futures import ThreadPoolExecutorimport timefrom tornado.options import define, optionsdefine("port", default=8000, help="run on the given port", type=int)class SleepHandler(tornado.web.RequestHandler): executor = ThreadPoolExecutor(2) @tornado.web.asynchronous @tornado.gen.coroutine def get(self): # 假如你执行的异步会返回值被继续调用可以这样(只是为了演示),否则直接yield就行 res = yield self.sleep() self.write("when i sleep %s s" % a) self.finish() @run_on_executor def sleep(self): time.sleep(5) return 5class JustNowHandler(tornado.web.RequestHandler): def get(self): self.write("i hope just now see you")if __name__ == "__main__": tornado.options.parse_command_line() app = tornado.web.Application(handlers=[ (r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)]) http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
转载于:https://my.oschina.net/havefun/blog/203153
使用tornado让你的请求异步非阻塞相关推荐
- tornado总结7-文件切片异步非阻塞下载
2019独角兽企业重金招聘Python工程师标准>>> 目标 文件切片,每一片都进行异步下载 影响是增加了文件的下载时间 代码 import os import statimport ...
- 真正的 Tornado 异步非阻塞
其中 Tornado 的定义是 Web 框架和异步网络库,其中他具备有异步非阻塞能力,能解决他两个框架请求阻塞的问题,在需要并发能力时候就应该使用 Tornado. 但是在实际使用过程中很容易把 To ...
- tornado异步非阻塞实现方式
目录 tornado异步非阻塞实现方式 1.多线程 2.老版协程 3.新版协程 实验 1.完全阻塞,同步代码 2.老版本协程 3新版本协程 4 多线程+新版协程,线程函数失效 5.线程+不声明异步,可 ...
- Python web框架 Tornado(二)异步非阻塞使用以及原理
原文: http://www.liangxiansen.cn/2018/04/11/tornado/ 作者: 梁先森 稍有改动 Tornado默认是单进程单线程.实时的web特性通常需要为每个用户一个 ...
- tornado实现异步非阻塞
1.使用 tornado.gen.coroutine 异步编程(需要第三方库支持tornado异步) 同步阻塞 code # coding=utf-8 # @Time : 2020/11/3 15:4 ...
- flask异步操作_Flask实现异步非阻塞请求功能实例解析
本文研究的主要是Flask实现异步非阻塞请求功能,具体实现如下. 最近做物联网项目的时候需要搭建一个异步非阻塞的HTTP服务器,经过查找资料,发现可以使用gevent包. 关于gevent Geven ...
- flask异步操作_Flask-Flask实现异步非阻塞请求功能
前言 最近做物联网项目的时候需要搭建一个异步非阻塞的HTTP服务器,经过查找资料,发现可以使用gevent包. 代码清单 下面放上代码清单,以后需要用到的时候直接移植即可. # coding=utf- ...
- 200行自定义异步非阻塞Web框架
Python的Web框架中Tornado以异步非阻塞而闻名.本篇将使用200行代码完成一个微型异步非阻塞Web框架:Snow. 一.源码 本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞 ...
- 异步就是异步,根本就没有 异步非阻塞IO这个说法。阻塞 非阻塞,同步I/O 异步I/O 的区别
先给大家安利一下这个 https://www.ibm.com/developerworks/cn/linux/l-async/ 里面关于 异步非阻塞IO 是错的. 异步就是异步,别扯 异步阻塞 异步非 ...
最新文章
- python 报错 AttributeError: type object ‘datetime.datetime‘ has no attribute ‘datetime‘
- Android KeyCode列表
- opencv for linux mac,opencv for Java在MacOS 10.10安装
- 2018.3.30 边框应用与导航栏设置
- qq2009显ip版怎么用_毛孔粗大怎么破?用对方法,轻松改善显皮肤嫩滑
- minSdkVersion、compileSdkVersion和targetSdkVersion
- 【转】ArcGIS Server安装
- Python标准库-string模块《未完待续》
- 模拟linux内核异常,Linux内核异常
- 文档损坏了怎么修复?文档修复方法分享
- pppoe按需连接服务器无响应,pppoe服务器无响应怎么解决_pppoe拨号失败怎么办
- oracle 快速检索表名称及包含的字段名称
- MMQ broker(MQTT 分布式服务器)
- c语言韦达定理求方程解,高一上韦达定理,高次,多元方程解法.doc
- 大数据学习线路_大数据初学者必备的详细版学习路线图
- 为什么正定矩阵等于转置_关于正定矩阵的一些新结果
- C语言进阶——函数指针
- 合同和协议的区别_协议书与合同书的区别
- Android自动更新时间去除WIFI无法连接互联网提示
- DLNA,DMS介绍