【每周论文】Graphene： Packing and Dependency-aware Scheduling for Data-Parallel Clusters（OSDI 2016）
【每周论文】Graphene： Packing and Dependency-aware Scheduling for Data-Parallel Clusters（OSDI 2016）
论文的一作Robert Grandl在OSDI 2016斩获两篇论文，非常的高产，这里先介绍他其中的一篇论文，关于集群调度有关的。
作者提出了一个全新的集群调度器——Graphene，它主要用于调度那些有很复杂的依赖关系和有异构资源需求的作业。
现在的作业执行可以抽象为一个DAG（有向无环图），其中图的点代表要执行的作业，有向的边代表数据的流向（依赖）。调度异构DAG作业或者调度各自独立的异构作业是一个NP难问题，先前的工作大部分使用启发式方法来调度作业，比如着重优化关键路径或者使用贪心算法来最大化资源利用率，但是当它们遇到异构的DAGs时性能就会表现的很差，而本文通关注长作业来挖掘DAG中潜在的并行性来提高整个集群的运行时间和资源利用率。
对一系列的依赖任务，整个调度过程分为两个部分：Offline的离线分析，Online的在线调度。
首先在整个作业集中找出麻烦任务集（Troublesome tasks，那些会运行非常长时间的任务，或者那些很难去pack的任务，如上图的红色），并对其他任务进行打包，将整个DAG分为四部分：麻烦任务（troublesome，T）、父任务（parents，P）、子任务（children，C）和同辈任务（siblings，S） ；之后对四个任务集T、P、C、S在时间-资源的空间上进行放置（如上图右边），首先放置T，之后在T的周围放置其他作业，Graphene选择四种顺序，TSCP、TSPC、TPSC或TCSP，因为作者通过分析发现，只有先方式T任务，才能避免dead-ends（dead-ends的定义是在作业放置的最后存在一些作业不能被放置，除非这些作业能打破依赖）。在离线的情况下对作业进行模拟放置结束后，进行在线调度。下图以两个作业的调度为例，首先分别对Job1和Job2,进行离线的分析，之后根据离线分析的结果对作业进行调度，最下方为Graphene的方法，可以发现它通过作业的并行提高了资源利用率，缩短了作业的执行时间。
【每周论文】Graphene： Packing and Dependency-aware Scheduling for Data-Parallel Clusters（OSDI 2016）相关推荐
- 「每周论文推荐」 初入深度学习CV领域必读的几篇文章
https://www.toutiao.com/a6718570271269192200/ 很多朋友都希望我们开通论文推荐和阅读板块,那就开吧,此专栏名为<每周论文推荐>.在这个专栏里,还 ...
- 【每周论文推荐】 初入深度学习CV领域必读的几篇文章
很多朋友都希望我们开通论文推荐和阅读板块,那就开吧,此专栏名为<每周论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题 ...
- 「知识表示学习」专题论文推荐 | 每周论文清单
本期论文清单来自清华大学博士生韩旭和北师大本科生曹书林,涵盖了近年知识表示学习方向的重要论文. [ 综述类 ] ■ 论文 | Representation Learning: A Review and ...
- 《论文阅读》Commonsense Knowledge Aware Conversation Generation with Graph Attention
<论文阅读>Commonsense Knowledge Aware Conversation Generation with Graph Attention 简介 论文试图解决什么问题? ...
- Fuzzing论文：Reinforcement Learning-based Hierarchical Seed Scheduling for Greybox Fuzzing
Reinforcement Learning-based Hierarchical Seed Scheduling for Greybox Fuzzing 整体内容 论文内容 多级代码覆盖指标(用于种 ...
- 每周论文清单：知识图谱，文本匹配，图像翻译，视频对象分割
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- 论文阅读：Regularizing Deep Networks with Semantic Data Augmentation
论文阅读:Regularizing Deep Networks with Semantic Data Augmentation 动机 特征空间的语义变换 Implicit semantic data ...
- 【翻译论文】 Supervised Parametric Classification of Aerial LiDAR Data(2004)
[翻译论文] Supervised Parametric Classification of Aerial LiDAR Data 航空激光雷达数据的监督参数分类 Amin P. Charaniya, ...
- 【论文翻译】 Clustering by Passing Messages Between Data Points
论文题目:Clustering by Passing Messages Between Data Points 论文来源:Clustering by Passing Messages Between ...
- 【论文翻译】Clustering by Passing Messages Between Data Points
论文题目:Clustering by Passing Messages Between Data Points 论文来源:Clustering by Passing Messages Between ...
最新文章
- ios架构篇-2 国际化多语言
- python报错 ValueError: dictionary update sequence element #0 has length 1； 2 is require
- iOS走近商城APP(四 runloop应用 获取通讯录并处理)
- windows terminal 笔记
- 机器人运动学_不同D-H矩阵的对比
- 05-密码学基础-RSA的介绍
- 小狗分类器，你家的狗子是个什么狗？
- C++虚函数---我的理解
- [开源 .NET 跨平台 Crawler 数据采集 爬虫框架: DotnetSpider] [一] 初衷与架构设计
- 基于java+swing+mysql+JFeeChart的企业人力资源管理系统（1）
- java生成图片url_Java Springboot如何基于图片生成下载链接
- pandas 批量读取excel_Pandas 批量处理文本表(示例代码)
- 拉取ftp服务器上的文件_无公网IP环境下搭建外部访问FTP文件共享服务器
- Java8 in action(1) 通过行为参数化传递代码--lambda代替策略模式
- 评分卡模型开发（七）--基于逻辑回归的标准评分卡实现
- [转]加载纹理与使用glGenTextures时应注意的一点(解决吃内存)
- IO流之流的操作规律
- jieba分词工具的使用-python代码
- 电子病历系统服务器配置,河北省人民医院电子病历系统实施方案
- 【20届考研终章--落幕】北京邮电大学软件学院--学硕