管理7k+工作流,月运行超10000万次,Lyft开源的Flyte平台意味着什么?
作者 | Allyson Gale
译者 | 刘畅
编辑 | Jane
出品 | AI科技大本营(ID:rgznai100)
【导读】Flyte 平台可以更容易的创建并发,可伸缩和可维护的工作流,从而进行机器学习和数据处理。Flyte 已有三年多的训练模型和数据处理经验,成为定价,定位,ETA,自动驾驶等团队可实用的平台。实际上,Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流,每月总计运行超过 100000 次,执行 100 万个任务,处理 1000 万个容器。
由于数据现在已成为公司的主要资产,因此执行大规模计算作业对业务至关重要,但从操作角度来看却存在一些问题。扩展,监管计算集群成为每个产品团队的负担,从而减慢了迭代速度,进而减慢了产品创新的速度。
Flyte 的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。Lyft 团队通过可靠,可扩展,精心设计的计算解决了诸多问题,使团队可以专注于业务逻辑。此外,Flyte 可支持跨租户共享和重用,因此问题只需解决一次。随着数据和机器学习之间的界线越来越不明显,包括从事这些工作的人员,这一点变得越来越重要。
为了让大家更好地了解 Flyte 是如何解决这一切问题,以下是该平台一些主要功能的概述:
1、Hosted、multi-tenant、and serverless
Flyte 可以摆脱麻烦的基础架构,使开发者可以专注于业务问题。作为一个支持多租户的服务,可以自己隔离 repo,并在不影响平台其余部分的情况下进行部署和扩展。平台会对代码进行版本控制,并对其依赖进行容器化,并且每次代码执行都是可重复的。
为了提供这种级别的隔离,研发团队直接将其建立在 Kubernetes 上,获得了容器化提供的所有优点:可移植性,可伸缩性,可靠性等等
2、Elastic Scale
Flyte 的主要目的就是扩展。有了完全分布式的容错控制平面,就不会出现单点故障,并且可以扩展到多个集群,数千个节点和数千个并发工作流。
Lyft 证明了该平台的扩展性,Flyte 已有三年多的训练模型和数据处理经验,成为定价,定位,ETA,自动驾驶等团队可实用的平台。实际上,Lyft 内部使用 Flyte 管理着 7000 多个独特的工作流,每月总计运行超过 100000 次,执行 100 万个任务,处理 1000 万个容器。
3、Parameters、Data Lineage、and Caching
所有 Flyte 的任务和工作流均具有强类型的输入和输出。这样就使参数化工作流程,拥有丰富的数据流,以及使用预先计算的缓存版本成为可能。例如,如果要进行超参数调优,则可以在每次运行时轻松调用不同的参数。此外,如果想调用之前已经计算过的任务,无论执行该任务的是谁,Flyte 都会巧妙地使用缓存输出,从而节省时间和金钱。
4、Versioned, Reproducible, and Shareable
Flyte 中的每个实体都是不可变的,每个更改都会明确地归为新版本。这让使用者可以轻松高效地迭代,测验和回滚工作流。此外,Flyte 支持在工作流之间共享这些版本化的任务,从而避免个人和团队之间的重复工作,加快开发周期。
5、Dynamic and extensible
Flyte 与框架无关,并且有不断增加的插件集合来满足所有工作流需求,包括 K8s 上的 Spark,AWS Batch,阵列作业,Hive Qubole,容器,Pods 等。而且也很容易贡献一个插件!用多种语言编写工作流任务也可能是有利的,因此Flyte 的 SDK 可以扩展到 Python 之外,允许进行真正的多语言编程。
附参考文章:
https://flyte.org/
https://lyft.github.io/flyte/contributor/index.html
(*本文为AI科技大本营翻译文章,转载请微信联系 1092722531)
◆
精彩推荐
◆
2020年,由 CSDN 主办的「Python开发者日」活动(Python Day)正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作,联手顶尖企业、行业与技术专家,通过精彩的技术干货内容、有趣多元化的活动等诸多体验,共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来,我们和中国万千开发者一起分享技术、践行技术,铸就中国原创技术力量。
【Python Day——北京站】现已正式启动,「新春早鸟票」火热开抢!2020年,我们还将在全国多个城市举办巡回活动,敬请期待!
活动咨询,可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人,无法自动进入,可添加会议小助手微信:婷婷,151 0101 4297(电话同微信)
推荐阅读
如何优雅地使用pdpipe与Pandas构建管道?
不可错过!2019 热门机器学习内容盘点
搜狐、美团、小米都在用的Apache Doris有什么好? | BDTC 2019
伯克利新无监督强化学习方法:
减少混沌所产生的突现行为
机器推理文本+视觉,跨模态预训练新进展
中国搜索 20 年:易守难攻、刚需不减!
-
你点的每个“在看”,我都认真当成了AI
管理7k+工作流,月运行超10000万次,Lyft开源的Flyte平台意味着什么?相关推荐
- 月GMV超3000万,中小商家如何跻身快手电商头部?
5月13日,快手电商在北京举办2022引力大会圆满落幕,大会以"新市井电商--信任铸就增长新红利"为主题. 大会上快手电商总结了过去一年的阶段性成绩,并公布了2022年最新战略:大 ...
- 连续被特斯拉碾压的国产车终于成功反击,五菱宏光月销超2万
10月份公布的新能源汽车销量数据显示,五菱宏光mini EV销量高达20631辆,高居国内新能源汽车销量第一名,其销量比第二名的特斯拉model3高近七成. 特斯拉model3自从去年底实现国产化,将 ...
- 学两个月年薪超20万,在国外当程序员这么容易?
去年,有关新加坡互联网公司在国内的招聘广告,曾经引发了不小的轰动. 这是因为对IT从业者来说,招聘广告许诺的条件实在诱人: 1.美股上市互联网公司,市值千亿美元: 2.薪资诱人,校招35万-100万总 ...
- 下载量超1600万的热门开源 JavaScript 序列化包中被曝 RCE 漏洞
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队 最近,热门的开源NPM 包 serialize-javascript 中被指存在一个漏洞,可使攻击者执行远程代码. Serialize ...
- js版计算连续12个月计算不超3万公里
<!--考虑比亚迪车友不是程序员的多,写了个html版的,复制以下代码在记事本,改后缀名为test.html,然后用浏览器打开--> <!DOCTYPE html> <h ...
- 互联网日报 | 京东PLUS会员数超2000万;滴滴实时公交业务覆盖超80城;小米数科品牌升级天星数科...
今日看点 ✦ 小米数科品牌升级为天星数科,战略聚焦产业数字金融 ✦ 京东PLUS会员数超2000万,预计今年双11为会员省160亿元 ✦ 滴滴实时公交业务覆盖超80城市,用户可轻松"掐点&q ...
- 互联网日报 | 1月18日 星期一 | 北京超10万滴滴司机预约接种疫苗;李子柒入驻饿了么;蔚来计划2021年在海外实现销售...
今日看点 ✦ 滴滴出行:北京超10万滴滴司机预约接种疫苗,4万余名司机完成接种 ✦ 高德打车北京升级疫情防控措施,要求合作平台完成驾驶员全员接种疫苗 ✦ 春运期间防疫健康码全国互认.一码通行,百度AP ...
- 互联网晚报 | 8月16日 星期一 | 李宁上半年营收破百亿;微博视频打赏功能测试上线;我国银行理财产品投资者数量超6000万...
今日看点 ✦ 百度世界大会2021定档8月18日,科技圈风向标再领潮流 ✦ 微博视频打赏功能测试上线,目前仅面向部分受邀博主 ✦ 李宁上半年营收超百亿元,净利润19.62亿元超去年全年 ✦ 比亚迪汽车 ...
- 互联网日报 | 8月1日 星期日 | 高途陈向东发内部信宣布裁员;抖音企业号用户超800万;蜂巢能源B轮百亿融资交割...
今日看点 ✦ 高德打车首创上线"比价叫车",帮用户避免误选"高价车" ✦ 华为发布HarmonyOS职业认证,从低到高分为三个级别 ✦ 抖音企业号入驻企业数超8 ...
最新文章
- 2016年网络诉求:物联网+SDN+自动化
- debian下编译安装poco
- Python Unittest-根据不同测试环境跳过用例详解
- 设计和实时视图不一样_三室两厅家装设计,如何打造出不一样的感觉?
- Shell——运行Shell脚本
- LeetCode-147:对链表进行插入排序
- adam算法效果差原因_电缆耐高温套管使用效果差的原因有哪些?
- And seeing the whole machine market
- 玩转大数据系列之一:数据采集与同步
- 牛逼哄哄的 RabbitMQ 到底有啥用?
- Kali和Backtrack中更新metasploit后无法连接数据库的问题解决方法
- pandas将字符串转换成时间_数据处理利器 pandas 实例详解 (下)
- C++中volatile的作用
- Linux网络不可用(Linux网络设置)
- Unity 接入有道智云AI - 文本翻译
- 微信公众号报错40125
- 新唐N76E003ISP串口下载轻体验
- Android NFC开发(二)——Android世界里的NFC所具备的条件以及使用方法
- 天下极品女人-----海上闻人
- flutter02 - 基础部件
热门文章
- Selenium2+python自动化25-js处理日历控件(修改readonly属性)
- php删除目录下的所有文件和目录
- Thinking in java中关于Exception的一道面试题.
- 【教程】【FLEX】#004 反射机制
- POJ 2955 Brackets (区间DP)
- windows 7 可以清除的文件
- JVM内存泄漏检测与处理
- DNN module.css文件不起作用的解决
- SpringCloud 面试题,最新SpringCloud 面试题,2020 SpringCloud 面试题
- c++ 从文本中逐行读取,并按空格对读取的一行进行分割