python coroutine_Python coroutine的坑

目前有个后端worker用的python 2.7写的，一次起10个gen.coroutine来跑黑盒的代码，这些代码很多是在做HTTP request。

在server端发现这些来自worker的lantency特别长。一番查找发现是http request的receive时间特别长，一般发4ms延迟，但是用这个就是40ms+。

做了一些测试后，定位为gen.coroutine跑代码的坑。

YY的原因：http基于tcp/ip，所以也有若干个回合的通信，一般发request，线程阻塞就挂起，收到就抢占读然后接着下一个包。

Python是单线程，coroutine所以是伪多协程，cpu调度里怀疑是严格的时间片轮转，即使一个coroutine已经被io阻塞了，依然占用cpu，不释放。所以10个协程，在轮询执行过程中，即使有的io已经可读，因为不能用cpu，所以被强行等待，也就是每一轮的通信都被延迟了。所以导致了这个问题。

简单看了下python3里的coroutine，可以做到挂起协程，用await的方法。

但是我们这个有一些特殊性，不能知道用户写的到底是啥，估计这个方法也不一定ok。另外也打算deprecate掉python，所以也不花时间改进了。

python coroutine_Python coroutine的坑相关推荐

python coroutine_python coroutine
python coroutine 前言 OOAD课程是用python教的,其中涉及到大量的python语法糖,老师也算是手把手教如何写出OO的python,但一个学期没听课只能期末补一补. Corou ...
python coroutine_python coroutine的学习跟总结[转]
简介因为最近一段时间需要研究一些openstack相关的东西,在阅读一些相关代码的时候碰到很多python特定的一些特性,比如generator, coroutine以及一些相关的类库,比如even ...
python coroutine_python coroutine的学习和总结
简介因为最近一段时间需要研究一些openstack相关的东西,在阅读一些相关代码的时候碰到很多python特定的一些特性,比如generator, coroutine以及一些相关的类库,比如even ...
决策树python建模中的坑：ValueError: Expected 2D array, got 1D array instead:
决策树python建模中的坑代码 #coding=utf-8 from sklearn.feature_extraction import DictVectorizerimport csvfrom ...
(Python+Tensorflow)编程踩坑集锦
(Python+Tensorflow)编程踩坑集锦 1 开发环境安装推荐视频:https://www.icourse163.org/learn/PKU-1002536002?tid=14529374 ...
python matlablib安装踏坑记
本文主要是记录在linux下安装matlablib中所遇到的坑,给大家一个参考. 我的使用场景是 linux + python2.7 + django 1.10 + matlib 坑1:matlab ...
学好python需要哪些基础_学Python要避免哪些坑，如何巩固好基础
学Python要避免哪些坑?零基础怎么入门Python?Python入门简单.语法简洁.功能强大,非常适合零基础入门IT行业的人学习.随着人工智能时代的来临,企业纷纷选择使用Python进行开发,Py ...
python建模决策_决策树python建模中的坑：ValueError: Expected 2D array, got 1D array instead:...
决策树python建模中的坑代码 #coding=utf-8 from sklearn.feature_extraction import DictVectorizer import csv fro ...
[转载] 当心掉进Python多重继承里的坑
参考链接: Python多重继承关于类的知识点里面,有一块是关于多重继承,跟其他主流语言一样,Python也支持多重继承,多重继承虽然有一些好处,但是坑很多,我们今天就来聊一聊Python多重继承里 ...

python coroutine_Python coroutine的坑

python coroutine_Python coroutine的坑相关推荐

最新文章

热门文章