Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用

需求：在调用阿里云函数式计算时，由于其函数式计算系统在分配系统资源时，可能存在多个任务分配给同一个服务器（每个服务器2核3G内存），导致多个相同任务在多线程调用函数式计算时总有几个因为资源分配不均返回较慢（包括带宽问题）;并且在多线程调用函数式计算时，每个线程的函数相同，并且根据业务需求，只要把返回结果list 拼接一下并且满足指定长度即可；

解决方法：使用多线程的先返回的任务先处理的方法，比如多线程请求20个函数式计算任务,但是只需要先返回的10个任务即可，剩下的10个任务忽略；这样能保证最大程度最大概率的前10个任务返回总体时间很短，从而优化接口执行时间；

图示：

技术名: python+ThreadPoolExecutor+as_completed

主要技术点：as_completed

实例代码：

from concurrent.futures import ThreadPoolExecutor, as_completed
import timedef get_ali_fun(times):time.sleep(times)return timesexecutor = ThreadPoolExecutor()
urls = [3, 2, 4]
all_task = [executor.submit(get_ali_fun, url) for url in urls]result_list = []
for future in as_completed(all_task):data = future.result()result_list.append(data)print("获取数据，耗时 {}s".format(data))if len(result_list) == 2:print("先返回的数据已经满足条件 则 剩下的1个线程结果 不再处理。。。")breakprint("继续处理下面程序")

as_completed()方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，会yield这个任务，就能执行for循环下面的语句，然后继续阻塞住，循环到所有的任务结束。从结果也可以看出，先完成的任务会先通知主线程。

关于阿里云函数式计算相关知识备注：

1.在调用其服务时，如果需要分析耗时，需要考虑服务内部函数执行时间和来回网络带宽时间；

2.截止2020.3.15 问的其技术人员其函数计算在不调用15分钟后释放资源（以后可能会缩短），如果对时间敏感，可以通过airflow等使用定时任务方式调用函数计算，不让其释放资源(冷启动至少10s耗费);不要使用阿里云内置的预留资源(太贵了。。。)

3.函数式计算系统在分配资源时是根据内存进行分配，每个服务器2核3G内存,如果函数分配内存1G，则有一定概率 3个函数都在一个服务器上，这样如果对于并发时间敏感的任务，则有一定的概率耗时增加；最极端优化方式：一个函数分配3G内存，则保证一个任务1个服务器；缺点是太费钱。。。

4.如果对时间敏感，需要考虑增加带宽(减少带宽导致时间过长的概率,然而时间操作仍有很大概率)，或者配置云服务器和函数式计算同一个VPC(让其在同一个内网中)

5.如果一个借口调用多个函数进行函数式计算，如果没有函数间的依赖，可以考虑进程+协程等让其同时运行从而节约时间

6.函数式计算的时间优化计算优化到尽头如果还是需要考虑资金问题，那仍有很大概率无法达到100% 预期时间；因为函数式计算系统的资源分配是随机的，可能相同函数的多个任务都在一个服务器上，这样就比在不同服务器上耗时增加；所以随缘吧。。。

as_completed参数过期时间设置，注意如果不添加过期时间，并且函数如果没有返回值，则此线程一直存在，可能造成内存逐渐增加的情况

# -*- coding: utf-8 -*-
"""
(C) Guangcai Ren <rgc@bvrft.com>
All rights reserved
create time '2020/3/30 18:59'Module usage:"""
from concurrent.futures._base import as_completed, TimeoutError
from concurrent.futures.thread import ThreadPoolExecutordef sleep_fun(_time):"""耗时操作:param _time::return:"""import timetime.sleep(_time)return _timepool = ThreadPoolExecutor()
pool_result = [pool.submit(sleep_fun, func_param) for func_param in [1, 1000]]try:# as_completed添加超时时间，如果不添加，则此 线程池一直存在；for result in as_completed(pool_result, 2):print(result.result())print('do other thing!')
except TimeoutError as e:# 清除相关资源，参数 默认为True,需要 所有线程都返回数据才清空资源;参数为 False,则直接清空资源,继续执行后续程序pool.shutdown(False)print('shut down!')
print('do something!!!')

Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用相关推荐

基于阿里云函数计算实现需要用到超大依赖包的 Python 无服务器计算
文章目录引言一.阿里云函数计算是什么? 开发流程函数计算的触发调用函数计算运行实例的生命周期二.示例应用的架构及简介三.具体开发部署步骤所遇到的坑和~~避坑指南~~ 坑1. 超大依赖包的部 ...
Python Flask web 项目零改动迁移至阿里云函数计算
引言最近尝试了一下阿里云的函数计算,整体感觉很好,主要是省钱!下面就简单聊一下,如何将 Python Flask 的 web 项目迁移至函数计算. 创建一个银行卡校验的 RestAPI 文件名:in ...
python 多线程线程如何获得返回值（重写threading.Thread类）
重写threading.Thread类: # -*- coding: utf-8 -*- """ @File : dontla_ThreadClass.py @Time ...
爆肝一周，用Python在物联网设备上写了个智能语音助手-阿里云智能语音交互
基于HaaS云端一体框架,用Python打造HaaS EDU K1智能语音助手的过程中需要用到云端能力.本篇文章介绍如何开通阿里云智能语音交互,并创建配置语音识别及语音合成项目,获取Appkey.请参 ...
python提取word文件中的图片，并上传阿里云OSS，返回html图片标签
该需求是一个真实的实战需求,如果你的公司在做题库类的系统,一定会涉及该方面的内容,所以收藏起来吧. 需求简单描述如下所示: 提取 Word(为了便于解决,统一格式为 docx)中的题干/选项图片: 将 ...
python 做网站知乎_python做网站知乎的搜索结果-阿里云开发者社区
伤不起的全栈程序员前段时间听说一个新名词:"全栈程序员",google了一下,被引导到了知乎的一个讨论上: http://www.zhihu.com/question/22420 ...
python函数几个return语句_Python常用函数--return 语句-阿里云开发者社区
在Python教程中return 语句是函数中常用的一个语句. return 语句用于从函数中返回,也就是中断函数.我们也可以选择在中断函数时从函数中返回一个值. 案例(保存为 function_re ...
python 线程池 map_python 线程池 map_python ThreadPoolExecutor线程池使用-阿里云开发者社区...
python有好几种实现线程池的方式, 注意选择一下,哪种是自己需要的. 最近用上ThreadPoolExecutor, 用来代替celery的方式. 主要是用在celery上的时间太少, 没有吃透, ...
Python基础入门：（一）从变量到异常处理 --阿里云天池
目录在最上面一.学习内容概括: 二.值得注意内容: 1. 三元运算符 2. is.is not 运算符 3. print() 函数 4. 利用位运算实现快速计算 5. 利用位运算实现整数集合 6. ...
python 多态app_多态简介 | Python从入门到精通：高阶篇之三十三-阿里云开发者社区...
多态多态是面向对象的三大特征之一. 多态从字面上理解是多种形态.例如:狗有多个种类(狼狗.藏獒.哈士奇.古代牧羊犬...). 一个对象可以以不同的形态去呈现. 我们先来定义两个类: class A: ...

Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用

Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用相关推荐

最新文章

热门文章

Python多线程实现 as_completed先返回的任务先处理 在 阿里云 函数式计算 优化的应用

Python多线程实现 as_completed先返回的任务先处理 在 阿里云 函数式计算 优化的应用相关推荐

最新文章

热门文章

Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用

Python多线程实现 as_completed先返回的任务先处理在阿里云函数式计算优化的应用相关推荐