集群系统中的网络流调度

当前,集群系统的部署和使用非常广泛。在集群系统中,一个任务通常分为多 个处理阶段顺序执行,而在各处理阶段之间需要通过内部网络来传输数据和中间 结果。已有测量工作表明,数据传输时间占整个任务运行时间的比重很大,因此 优化集群系统中的数据传输时间对于加速任务、提升应用性能非常重要。网络流 调度是优化数据传输时间的有效方法,主要指为数据流设定传输顺序以及分配带 宽。在小规模集群系统中,网络内部容易做到无阻塞,流调度主要在边缘链路上;而在大规模集群系统中,网络内部也可能成为瓶颈,流调度也应作用于网络内部。由于集群系统应用种类繁多,通信模式各不相同,因此内部网络中既存在独 立的单流也存在并发的流束。相应地,网络流调度既包括单流调度也包括流束调 度。根据以上分类,本文分别在小规模与大规模集群系统中针对单流调度和流束 调度的问题进行了研究:

(1) 提出了稳定的单流调度策略。针对小规模与大规模集群系统都存在的调度 策略不稳定问题,本文设计了稳定的单流调度策略 BASRPT,并且针对小规模和 大规模集群系统分别设计了两个版本。BASRPT 同时考虑流的剩余大小和所在队 列的队长,优先传输长队列中的短流,既能够控制队长又能够缩短流完成时间。仿 真结果表明,BASRPT 能够维持队列长度稳定并取得较低的流完成时间。

(2) 提出了已知部分信息的流束调度策略。针对小规模集群系统中部分流束信 息可知的场景,本文设计了已知部分信息的流束调度策略 IICS。IICS 借助流束中 已到达子流信息对剩余传输时间进行预测,并基于预测值近似实现最小剩余时间 优先。仿真结果表明,IICS 能够取得与信息完全可知的策略接近的流束完成时间。

(3) 提出了网络内部瓶颈感知的流束调度策略。针对大规模集群系统中的网络 内部瓶颈约束,本文设计了分布式网络内瓶颈感知的流束调度策略 DBA。DBA 在 所有链路的带宽约束下,通过各节点演化的方式近似实现了全网范围的最小剩余 时间优先策略。仿真结果表明,DBA 具有优越的流束完成时间性能和高吞吐量。

(4) 提出了光电路交换网络中的流束调度策略。针对大规模集群系统中光电路 交换技术的快速发展,本文设计了光电路交换网络中优化流束完成时间的调度策 略 GMRTF。GMRTF 同时结合了电路调度与流束调度,将同一电路上的子流适当 分组,组内不切换电路,组间采用最小剩余时间优先策略。大量仿真实验验证了 在光电路交换网络中 GMRTF 能够显著降低流束完成时间并提高吞吐量。

成为VIP会员查看完整内容
44

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【博士论文】多视光场光线空间几何模型研究
专知会员服务
23+阅读 · 2021年12月6日
【博士论文】大数据相似查询关键技术研究
专知会员服务
24+阅读 · 2021年12月2日
专知会员服务
81+阅读 · 2020年12月18日
【博士论文】解耦合的类脑计算系统栈设计
专知会员服务
31+阅读 · 2020年12月14日
专知会员服务
15+阅读 · 2020年12月12日
滴滴司机调度系统实践
DataFunTalk
15+阅读 · 2020年8月9日
前沿:水下机器人及其导航系统
科学出版社
9+阅读 · 2019年6月22日
车路协同应用场景分析
智能交通技术
24+阅读 · 2019年4月13日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
Arxiv
0+阅读 · 2022年2月7日
Arxiv
0+阅读 · 2022年2月4日
VIP会员
相关VIP内容
相关资讯
滴滴司机调度系统实践
DataFunTalk
15+阅读 · 2020年8月9日
前沿:水下机器人及其导航系统
科学出版社
9+阅读 · 2019年6月22日
车路协同应用场景分析
智能交通技术
24+阅读 · 2019年4月13日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
微信扫码咨询专知VIP会员