学术顶会再突破!计算平台 MaxCompute 论文入选国际顶会VLDB 2021
一、顶会概览
VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。
作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。
多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术会议,借助布道的力量,传播阿里云技术优势,为推动开放共赢的云计算生态作出积极贡献。
二、首次提出多种执行模式和调度策略混合的动态设计
Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计,允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式作业进行多层次的动态调整,为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。
”如何在超大规模集群和系统中,同时管理多种计算负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。
Fangorn执行框架整体架构
三、首个基于TVR Cost模型的通用增量计算优化器框架
Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架,在集成众多现有增量计算方法的同时,用户可以随时增添任意自定义增量计算方法。
世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短作业运行时间的同时,节省大量计算资源。
四、阿里云布道师、论文作者:
论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on
Shared Clusters
陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人
论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing
王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人
五、延伸阅读:
VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。
论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(
http://vldb.org/pvldb/vol14/p2972-chen.pdf)
论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(
http://www.vldb.org/pvldb/vol14/p14-wang.pdf)
原文链接
本文为阿里云原创内容,未经允许不得转载。
学术顶会再突破!计算平台 MaxCompute 论文入选国际顶会VLDB 2021相关推荐
- 学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021
简介: VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn.基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Indust ...
- 机器学题平台PAI论文入选国际顶会KDD-构建端到端的大规模AI工程能力
一.顶会概览 KDD 2021上,阿里云机器学习平台PAI参与的论文入选,大规模可扩展文本分类框架MeLL.大规模推荐模型推理系统FleetRec.自动特征生成的方法FIVES分别被录取. KDD大会 ...
- INTERSPEECH 2022 | 钉钉蜂鸣鸟音频实验室论文入选国际顶会,创新提出窄带滤波网络架构
利用深度学习来提升语音增强效果和鲁棒性,已成为实时音视频通信领域研究的热点之一.钉钉蜂鸣鸟音频实验室提出了一种新的窄带滤波网络架构,可大幅提升去噪和去混响联合语音增强效果,提升音频质量,相关论文已被语 ...
- 三篇论文入选国际顶会SIGMOD,厉害了腾讯云数据库
好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录. 本次被收录的研究成果中,新型数据结构设 ...
- 奇富科技语音论文入选国际顶会INTERSPEECH 2023
近日,奇富科技机器人团队论文<Eden-TTS:一种简单高效的非自回归"端到端可微分"神经网络的语音合成架构>(Eden-TTS: A Simple and Effic ...
- 阿里 AI 研究成果入选国际顶会 ICML 2020,AI 推理速度提升 3 倍
近日,人工智能国际顶会ICML 2020公布了论文收录结果,阿里巴巴7篇论文入选,是入选论文数量最多的中国科技公司.ICML是机器学习领域全球最具影响力的学术会议之一,今年接受率仅为21.8%. 根据 ...
- 阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)
概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
- 王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute...
如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无 ...
- 王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute
2019独角兽企业重金招聘Python工程师标准>>> 如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据 ...
最新文章
- AI领域真正最最最最最稀缺的人才是……会庖丁解牛的那个人
- vue 中实现异步加载模块
- IOS笔记本----读写.plist文件
- 反复下蹲,你的膝盖响几下?
- java拦截器和过滤器,2021最新版!
- 25@JSP_day08
- 人脸识别的三个评测标准
- CVE-2021-3560的漏洞说明及利用流程
- Java通过BCrypt加密
- “Flash闪存”基础 及 “SD NAND Flash”产品的测试
- AMD显卡更新UEFI GOP
- 一种万能解锁的解决方法
- 如何建立有效的激励机制
- 甘特图制定项目计划,提高项目管理效率
- 《刷新》精髓:微软第三任CEO萨提亚•纳德拉重新发现微软灵魂的传奇历程,给了我们普通人哪些启示?
- 1360: plank 栅栏修复
- 云渲染技术在虚拟仿真医疗培训中的应用
- Android小说阅读器
- sqlite数据库加锁提交_如何解锁SQLite数据库?
- ip子网划分计算题举例说明