在云计算中,由于需求的庞大和多样性,平台计算资源的容量管理一直是一个极大的挑战。为了更好地根据整个云计算平台的容量进行规划,平台往往会提前收集一部分非即时的计算作业需求,这些计算作业可以持续运行指定长度的时间,且起止时间更加灵活。通过根据非即时计算作业的需求和平台在未来一段时间内的容量情况来进行统一调度,有助于平衡整个平台的工作负荷,提升平台资源的利用效率。但是,由于平台上未来可用的计算容量是不确定的,所以对这些非即时作业的调度,在不确定的计算资源约束下进行安排是一个巨大的挑战。

对于具有不确定约束的优化问题,传统的优化方法无法直接进行求解,而是需要结合对不确定约束进行预测的步骤来进行优化。然而,单独进行预测和优化的两阶段方法有明显的不足之处:两阶段方法假设预测结果是准确的,可是在实际中预测误差却无法避免,从而导致优化得出的解会违反(violate) 约束。

在本篇论文中,微软亚洲研究院的研究员们将这类问题建模成一个预测+优化(Prediction + Optimization)框架下的问题,并针对这类问题提出了不确定约束下的作业调度算法 CUC(Controlling under Uncertain Constraints),该算法的架构如图4所示。其架构大体上可以概括为以下三个方面:

1)在预测阶段预测未来容量的大小,同时对预测的不确定性进行建模; 2)用预测的未来容量的分布来指导作业调度的优化问题,得到相应的调度方案; 3)利用调度结果结合贝叶斯优化来进一步提升容量预测的表现。

成为VIP会员查看完整内容
13

相关内容

云计算(Cloud computing)是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。整个运行方式很像电网,类似之前的网格计算。
专知会员服务
24+阅读 · 2021年9月17日
专知会员服务
8+阅读 · 2021年9月4日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
35+阅读 · 2021年7月8日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
27+阅读 · 2020年12月21日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
50+阅读 · 2020年12月1日
滴滴司机调度系统实践
DataFunTalk
15+阅读 · 2020年8月9日
【智能供应链】AI和IoT驱动的智能供应链
产业智能官
8+阅读 · 2020年7月9日
带学吴恩达机器学习课程和作业,带打Kaggle全球顶级大赛
苏宁大数据离线任务开发调度平台实践
AI前线
5+阅读 · 2018年11月5日
【动态】何恺明团队最新力作:群组归一化(Group Normalization)
【人工智能架构】深度解密京东登月平台基础架构
产业智能官
11+阅读 · 2017年9月26日
Arxiv
3+阅读 · 2018年3月13日
VIP会员
相关VIP内容
专知会员服务
24+阅读 · 2021年9月17日
专知会员服务
8+阅读 · 2021年9月4日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
35+阅读 · 2021年7月8日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
27+阅读 · 2020年12月21日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
50+阅读 · 2020年12月1日
相关资讯
微信扫码咨询专知VIP会员