python怎么控制速度_如何控制python的ThreadPoolExecutor的吞吐量速度？

我使用python的concurrent.futuresThreadPoolExecutor启动异步任务。

按照this方法，我使用tqdm进度条监视异步调用的进度。在

我的代码如下所示：with concurrent.futures.ThreadPoolExecutor(max_workers = n_jobs) as executor:

future_to_url = {executor.submit(target_function, URL): URL for URL in URL_list}

kwargs = {'total': len(future_to_url), # For tqdm

'unit': 'URL', # For tqdm

'unit_scale': True, # For tqdm

'leave': False, # For tqdm

'miniters': 50, # For tqdm

'desc': 'Scraping Progress'}

for future in tqdm(concurrent.futures.as_completed(future_to_url), **kwargs):

URL = future_to_url[future]

try:

data = future.result() # Concurrent calls

except Exception as exc:

error_handling() # Handle errors

else:

result_handling() # Handle non-errors

控制台输出如下所示：

^{pr2}$

我知道我可以设置一个URL队列并控制其大小，如here所述。在

然而，我不知道如何控制吞吐量速度本身。假设我希望不超过6个URL/秒。这能用别的方法存档吗时间。睡觉(n) 在上面的例子中是target_function()？在

如何有效地控制python的ThreadPoolExecutor的吞吐量速度？在

python怎么控制速度_如何控制python的ThreadPoolExecutor的吞吐量速度？相关推荐

python 宏处理库_常用的Python库，给大家分享一下！
Tkinter---- Python默认的图形界面接口. Tkinter是一个和Tk接口的Python模块,Tkinter库提供了对Tk API的接口,它属于Tcl/Tk的GUI工具组.Tcl/Tk是 ...
python模块下载过程_常用的python模块及安装方法
bsddb3:BerkeleyDB的连接组件 Cheetah-1.0:我比较喜欢这个版本的cheetah cherrypy:一个WEB framework ctypes:用来调用动态链接库 DBUti ...
python自学到大牛_开始学习Python+一位大牛整理的Python资源
Python基本安装: * http://www.python.org/ 官方标准Python开发包和支持环境,同时也是Python的官方网站: * http://www.activestate.co ...
python文本编辑器下载_海龟编辑器(Python编辑器)
海龟编辑器提供可视化的编辑方式,可以让您在编辑代码的时候更加简单,软件提供图形编辑方式,在编程的时候软件有相关的提示,例如添加事件.控制.运算.字符串等内容都是有提示的,对于学习Python是很有帮助 ...
python 按键精灵脚本_[620]使用Python实现一个按键精灵
按键精灵想必很多人都玩过,使用录制功能将鼠标和键盘的操作录制下来,录制好后就可以通过回放自动执行之前录制的操作,可以设置重复执行的次数,这样就可以将一些重复的劳动交给脚本自动化去完成.使用Python ...
python中文编程教学_中谷python中文视频教程（全38集）
python在线教学视频教程共40节,中谷教育录制,主要介绍了python编程方面的知识. python在线教学-01-走进python python在线教学-02-开始编程吧 python在线教学- ...
python编程循环语句_循环语句—Python编程从入门到精通(5)
第6章.循环语句在本书上一章的内容中,我们学习了实现条件判断功能的条件语句,让程序的执行顺序发生了变化.为了满足循环和跳转等功能,本章将详细讲解Python语言中循环语句的知识,主要包括for循环语 ...
python编辑器怎么下载_海龟编辑器(Python编辑器)下载-海龟编辑器(Python编辑器)下载v1.3.6-IE浏览器中文网站...
针对少儿的一款代码编辑软件,海龟编辑器(Python编辑器)将代码以堆积木的方式呈现,让孩子在游戏中学习,降低学习难度,提高和吸引孩子的学习兴趣. 软件特点 1.一键安装第三方库. 2.扩展功能强大. ...
python智能合约编程_如何用Python Flask开发以太坊智能合约
将数据存储在数据库中是任何软件应用程序不可或缺的一部分.无论如何控制该数据库都有一个该数据的主控.区块链技术将数据存储到区块链网络内的区块中.因此,只要某个节点与网络同步,它们就会获得区块中数据的副本 ...

python怎么控制速度_如何控制python的ThreadPoolExecutor的吞吐量速度？

python怎么控制速度_如何控制python的ThreadPoolExecutor的吞吐量速度？相关推荐

最新文章

热门文章