Optimizing the Transition Waste in Coded Elastic Computing（实现0浪费弹性编码计算）

一、原文：

Optimizing the Transition Waste in Coded Elastic Computing

二、研究前提：

1、任务分配：每台机器负载相同，且每个任务被相同数量的worker执行

2、转换重新分配：当有机器加入或离开时，现有机器执行的任务会发生变化、

3、所有任务的编码以及主节点对任务的分配规则：（以矩阵向量乘法举例）

首先将矩阵A按行均匀划分为F个子任务（若不能均匀划分，则最后一行用0补齐）：A0,A1....A(F-1),A(i)x即表示任务i，每个子任务再利用MDS编码（划分为E等分，然后利用MDS编码为N份，其中Nmax为当前最大可能的机器数量），再将从Nmax等份数据中挑选出N份分发给每台机器，所以每台机器里所存储的都是任务F的部分

三、主要内容：(主要目标：就是让各个机器当前所执行的任务重叠部分尽量的小)

1、循环分配方案

就是弹性编码方案一文中所述的任务分配方案（浪费最大）

（1）计算了加入一台机器所需要的的转换浪费

（2）计算了一台机器被占用从而使任务重新分配后的转换浪费（较复杂）

2、移位循环分配方案

（1）引入集合对称差的概念：两集合中不重叠的元素的总个数

（2）计算了加入一台机器时，最优的移位数使转换浪费最小

（3）计算了一台机器被占用从而使任务重新分配后，使转换浪费最小的最优移位数

3、0转换浪费

因为上述两种方案在机器数发生改变时，均会有转换的浪费（就意味着原来机器执行的部分任务会被丢弃，且需要重新从主节点上下载新的任务执行），极大的增大了开销，所以引入0转换浪费。

（1）加入一台机器时的转换浪费：总存在0浪费转换，只要从当前机器上移出固定数量且不重叠的任务到新增的机器上，就会实现0浪费转换（证据表明该种转换一定存在）

（2）有机器离开时的0转换浪费：（较复杂）

（1）有机器离开时主要就涉及将当前离开机器的任务合理的分配到当前处于运行状态的机器上
（2）那么如何判断当前机器上的任务是否能被合理分配，就需要用到霍尔婚配定理
（注意：该定理无法给出如何进行任务分配！！）。
（3）因为实际情况是会有多个机器一个接一个的离开，那么离开多少台机器仍能保持0浪费转换？论文后面就给出了离开多个机器数仍能保持0浪费转换的上限R。（如果超过R个机器离开，就可能不再会是0浪费转换了））

2.1）原则：当前还存在的机器必须保持当前执行序列不变，且接收被占用机器所给的新的任务

2.2）如何实现？（重点！）

涉及到知识点：二部图、二部图的完美匹配、霍尔婚配定理（核心）、转换树、fano平面

2.4）存在0转换浪费的充要条件：

也即是机器与机器之间任务的交集要尽量小。（需要理解为什么就需要用到上面所涉及到的知识点）

2.5）能离开机器数且仍能保持0浪费转换的上限R（如果第R+1个机器离开，就会产生一定的开销了，不再是0浪费转换）

其中的德尔塔是：

Optimizing the Transition Waste in Coded Elastic Computing（实现0浪费弹性编码计算）相关推荐

安装独立的 Elastic Agents 并采集数据 - Elastic Stack 8.0
注意:在独立模式(standalone)下运行 Elastic Agent 是一个高级用例. 文档不完整,还不成熟. 如果可能,我们建议使用 fleet 管理的代理而不是独立模式. 要在独立模式下运行 ...
华为 HCIA-Cloud Computing V4.0（基础知识）
HCIA-Cloud Computing V4.01.云计算简介1.1 初始云计算及云计算的优势云计算的优势:1.2云计算的定义.发展史和分类云计算服务模式2.计算虚拟化简介2.1 计算虚拟化介绍什 ...
Observability：使用 Elastic Agent 提取应用程序跟踪 - Elastic Stack 8.0
在 Elastic Stack 8.0 之前,我们使用 APM server 来采集 Application Monitoring (APM) 数据.随着 Elastic Agent 在 8.0 的推 ...
Elastic 7.14.0 版推出业界首个免费开放的 Limitless XDR
我们非常高兴地宣布 Elastic 7.14 版正式发布,包括我们基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索.可观测性和安全 ...
Elastic：Elastic Stack 8.0.0-alpha1 发布
虽然 7.x 次要版本继续提供一个又一个功能,但我们很高兴地宣布 8.0.0 的第一个公开 alpha. 在我们继续这个令人兴奋的消息之前,我们想提醒你这是一个 alpha 版本. 我们建议你与生产保 ...
HCIE-Cloud Computing v2.0 lab机考全讲解
说明:[内容是考生的经验,建议] 文章目录一.准备题型介绍学习建议考试环境考试地址和密码必知流程***** 二.实战***** 2.1. 宏观方面/整体讲解 2.1.1. 拓扑类型接口 ...
Elastic job 3.0.0遇到问题汇总
摘要本次elaticjob被apache接管也算是个幸事.但由于更新太过于缓慢,问题非常多,不同版本见的兼容性也是个问题.暂不建议大家从2.5升级到3.0.3.0的ui 问题也很多问题1 2021 ...
华为云服务器，新用户福利！！0元免费体验云产品最长可达一年
华为云官网最新活动,新用户完成个人实名认证,参与问卷调研后即可免费试用,云产品0元试用,最长可达一年!!! 华为云服务立足于互联网领域,依托于华为公司雄厚的资本和强大的云计算研发实力,面向互联网增值服 ...
aws cloud map_Amazon EC2 – AWS Elastic Compute Cloud
aws cloud map Amazon EC2 is an abbreviation for Elastic Compute Cloud. It's elastic in nature which ...
如何使用Coded UI Test对Webpage进行自动化测试
在Visual Studio中,Coded UI Test已经不是什么新特性了,较早版本的Visual Studio中就已经有这个东东了.它主要用来帮助自动化测试工程师和开发人员确保程序在UI方面没有 ...

Optimizing the Transition Waste in Coded Elastic Computing（实现0浪费弹性编码计算）

Optimizing the Transition Waste in Coded Elastic Computing（实现0浪费弹性编码计算）相关推荐

最新文章

热门文章