In this paper, we use a Markov decision process to find optimal asynchronous policy of an energy-efficient data center with two groups of heterogeneous servers, a finite buffer, and a fast setup process at sleep state. Servers in Group 1 always work. Servers in Group 2 may either work or sleep, and a fast setup process occurs when server's states are changed from sleep to work. In such a data center, an asynchronous dynamic policy is designed as two sub-policies: The setup policy and the sleep policy, which determine the switch rule between the work and sleep states for the servers in Group 2. To analyze the optimal asynchronous dynamic policy, we apply the Markov decision process to establish a policy-based Poisson equation, which provides expression for the unique solution of the performance potential by means of the RG-factorization. Based on this, we can characterize the monotonicity and optimality of the long-run average profit of the data center with respect to the asynchronous dynamic policy under different service prices. Furthermore, we prove that the bang-bang control is always optimal for this optimization problem, and supports a threshold-type dynamic control in the energy-efficient data center. We hope that the methodology and results derived in this paper can shed light to the study of more general energy-efficient data centers.


翻译:在本文中,我们使用Markov决策程序来寻找节能数据中心的最佳非同步政策,由两组不同服务器组成,一个有限的缓冲,一个睡眠状态的快速设置程序。 第一组服务器总是起作用。 第2组服务器要么工作要么睡觉,当服务器状态从睡眠转向工作时,就会有一个快速设置程序。在这样一个数据中心中,一个无同步动态政策被设计成两个次级政策:设置政策和睡眠政策,它决定了第2组服务器的工作状态和睡眠状态之间的开关规则。为了分析最佳的不同步动态政策,我们应用Markov决策程序来建立一个基于政策的普瓦松方程式,该方程式通过RG-facor化的方式为业绩潜力提供独特的解决办法。基于这一点,我们可以将数据中心长期平均利润的单一性和最佳性设计成两个子政策:即确定第2组服务器的工作状态和睡眠状态之间的开关规则。此外,为了分析最佳的不同步动态动态动态政策,我们应用Markov决策程序来建立一个基于政策基础的普瓦松等方方方方方方方方方方方方方方方方方方方方方方方方方方方方方位等方位等方位的服务器等方位等方位等方位等方位等方位等方位等方位等方位的服务器等方位配置。我们可以将显示这一动态能源节制数据节制的节制数据节制的节制数据节制的节制的节制的节制的节制,从而支持这一节制的节制的节制的节制的节制的节制式能源中心的节制数据,从而支持这一节制的节制中心的节制性数据控制中心的节制式能源中心的节制式数据中心的节制式数据。

0
下载
关闭预览

相关内容

《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年12月1日
Arxiv
0+阅读 · 2021年11月26日
Arxiv
0+阅读 · 2021年11月25日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
A General and Adaptive Robust Loss Function
Arxiv
8+阅读 · 2018年11月5日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关资讯
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员