【博士论文】集群系统中的网络流调度
来源:专知
本文为论文,建议阅读5分钟当前,集群系统的部署和使用非常广泛。
来自清华大学张彤的博士论文,入选2021年度“CCF优秀博士学位论文奖”初评名单!
https://www.ccf.org.cn/Focus/2021-11-22/750448.shtml
集群系统中的网络流调度
当前,集群系统的部署和使用非常广泛。在集群系统中,一个任务通常分为多 个处理阶段顺序执行,而在各处理阶段之间需要通过内部网络来传输数据和中间 结果。已有测量工作表明,数据传输时间占整个任务运行时间的比重很大,因此 优化集群系统中的数据传输时间对于加速任务、提升应用性能非常重要。网络流 调度是优化数据传输时间的有效方法,主要指为数据流设定传输顺序以及分配带 宽。在小规模集群系统中,网络内部容易做到无阻塞,流调度主要在边缘链路上;而在大规模集群系统中,网络内部也可能成为瓶颈,流调度也应作用于网络内部。由于集群系统应用种类繁多,通信模式各不相同,因此内部网络中既存在独 立的单流也存在并发的流束。相应地,网络流调度既包括单流调度也包括流束调 度。根据以上分类,本文分别在小规模与大规模集群系统中针对单流调度和流束 调度的问题进行了研究:
(1) 提出了稳定的单流调度策略。针对小规模与大规模集群系统都存在的调度 策略不稳定问题,本文设计了稳定的单流调度策略 BASRPT,并且针对小规模和 大规模集群系统分别设计了两个版本。BASRPT 同时考虑流的剩余大小和所在队 列的队长,优先传输长队列中的短流,既能够控制队长又能够缩短流完成时间。仿 真结果表明,BASRPT 能够维持队列长度稳定并取得较低的流完成时间。
(2) 提出了已知部分信息的流束调度策略。针对小规模集群系统中部分流束信 息可知的场景,本文设计了已知部分信息的流束调度策略 IICS。IICS 借助流束中 已到达子流信息对剩余传输时间进行预测,并基于预测值近似实现最小剩余时间 优先。仿真结果表明,IICS 能够取得与信息完全可知的策略接近的流束完成时间。
(3) 提出了网络内部瓶颈感知的流束调度策略。针对大规模集群系统中的网络 内部瓶颈约束,本文设计了分布式网络内瓶颈感知的流束调度策略 DBA。DBA 在 所有链路的带宽约束下,通过各节点演化的方式近似实现了全网范围的最小剩余 时间优先策略。仿真结果表明,DBA 具有优越的流束完成时间性能和高吞吐量。
(4) 提出了光电路交换网络中的流束调度策略。针对大规模集群系统中光电路 交换技术的快速发展,本文设计了光电路交换网络中优化流束完成时间的调度策 略 GMRTF。GMRTF 同时结合了电路调度与流束调度,将同一电路上的子流适当 分组,组内不切换电路,组间采用最小剩余时间优先策略。大量仿真实验验证了 在光电路交换网络中 GMRTF 能够显著降低流束完成时间并提高吞吐量。
【博士论文】集群系统中的网络流调度相关推荐
- Linux服务器集群系统(三)——LVS集群中的IP负载均衡技术
原文地址:http://www.linuxvirtualserver.org/zh/lvs3.html 本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载 ...
- Linux服务器集群系统(三)--转
引用地址:http://www.linuxvirtualserver.org/zh/lvs3.html LVS集群中的IP负载均衡技术 章文嵩 (wensong@linux-vs.org) 2002 ...
- Linux服务器集群系统(三)
LVS集群中的IP负载均衡技术 章文嵩 (wensong@linux-vs.org) 2002 年 4 月 本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载 ...
- Linux服务器集群系统(四)--转
引用地址:http://www.linuxvirtualserver.org/zh/lvs4.html LVS集群的负载调度 章文嵩 (wensong@linux-vs.org) 2002 年 5 ...
- Linux服务器集群系统(一)--转
引用地址:http://www.linuxvirtualserver.org/zh/lvs1.html LVS项目介绍 章文嵩 (wensong@linux-vs.org) 2002 年 3 月 本文 ...
- Linux服务器集群系统(LVS)
from:http://www.linuxvirtualserver.org/zh/lvs1.html#5 本文介绍了Linux服务器集群系统--LVS(Linux Virtual Server)项目 ...
- Linux服务器集群系统--作者
本文介绍了Linux服务器集群系统--LVS(Linux Virtual Server)项目的产生背景和目标,并描述了LVS服务器集群框架及目前提供的软件,列举LVS集群系统的特点和一些实际应用,最后 ...
- LVS Linux服务器集群系统
Linux服务器集群系统(一) LVS项目介绍 章文嵩 (wensong@linux-vs.org) 2002 年 3 月 本文介绍了Linux服务器集群系统--LVS(Linux Virtual S ...
- LINUX服务器集群系统
目录 • 背景 • 服务器集群系统 • Linux Virtual Server项目 • IP虚拟服务器软件IPVS • 内核Layer-7交换机KTCPVS • LVS集群的特点 • LVS集群的应 ...
最新文章
- 飞书携手问卷网并肩抗“疫”,助力疫情信息申报收集工作
- ERP内部顾问与外部顾问的区别
- linux tar压缩包目录,如何在Linux上使用tar命令解压和压缩文件
- 机器人 工具坐标系的标定
- 简单的数学问题 洛谷 P1414 又是毕业季II
- web开发者工具,118页Vue面试题总结,涨姿势!
- Java导入sql失败_java – 在hibernate中导入import.sql失败
- Highcharts+Spring饼图使用实例
- js java webservice_js调用webservice中的方法实现思路及代码
- 如何使用 vCenter 警报自动监控 VSAN 组件阈值?
- 4.CND技术详解---集群服务与负载均衡技术
- shellscript 07 正则表达式介绍
- 解决(Missing artifact com.oracle:ojdbc14:jar:11.2.0.4.0)
- echart——时间点和时间段综合显示
- JAVA多用户商城系统源码
- Hadoop上路-03_Hadoop JavaAPI
- 深度神经网络的训练过程,深度神经网络如何训练
- 【超全面】机器学习中的超参优化方法总结
- VUE之Vxe-table动态生成多级表头
- python tempstr 转换面积 平方米_python实现计算图形面积
热门文章
- 【c语言】蓝桥杯基础练习 01字串
- vue 循环遍历list_vue使用map代替Aarry数组循环遍历的方法
- docker 简单入门(一)
- Discuz学习总结——部分bug解决方案
- dns短域名会引起nslookup解析总解析到一个IP
- areas where akka is being deployed into production
- [CTO札记]MM晕倒地铁中--最适合的活动未必是阅读
- 怎样设置rotacast插件_百度克星、16倍速看视频,这5个谷歌插件简直太会玩了!...
- Python中如何拷贝一个对象?(赋值、深拷贝、浅拷贝的区别)
- SMOTE过采样方法