We consider distributed online min-max resource allocation with a set of parallel agents and a parameter server. Our goal is to minimize the pointwise maximum over a set of time-varying convex and decreasing cost functions, without a priori information about these functions. We propose a novel online algorithm, termed Distributed Online resource Re-Allocation (DORA), where non-stragglers learn to relinquish resource and share resource with stragglers. A notable feature of DORA is that it does not require gradient calculation or projection operation, unlike most existing online optimization strategies. This allows it to substantially reduce the computation overhead in large-scale and distributed networks. We show that the dynamic regret of the proposed algorithm is upper bounded by $O\left(T^{\frac{3}{4}}(1+P_T)^{\frac{1}{4}}\right)$, where $T$ is the total number of rounds and $P_T$ is the path-length of the instantaneous minimizers. We further consider an application to the bandwidth allocation problem in distributed online machine learning. Our numerical study demonstrates the efficacy of the proposed solution and its performance advantage over gradient- and/or projection-based resource allocation algorithms in reducing wall-clock time.


翻译:我们考虑以一组平行代理和参数服务器来分配在线最小值资源分配。 我们的目标是在不事先提供有关这些功能的信息的情况下,将一组时间变化的曲线和降低成本功能的最大点最小化。 我们提出一个新的在线算法,称为“分布在线资源重新配置”(DORA),其中非分流者学会放弃资源并与分流者共享资源。 DORA的一个显著特征是,它不需要梯度计算或投影操作,这与大多数现有的在线优化战略不同。这使得它能够大量减少大型和分布式网络的计算间接费用。我们显示,对拟议算法的动态遗憾被$Oleft(T ⁇ frac{3 ⁇ 4 ⁇ 4 ⁇ (1+P_T) ⁇ frad在线资源重新配置(DORA), 其中,非分流速者学会放弃资源,而 $P_T$是瞬间最小化器的路径长度。 我们进一步考虑在分布在线机器学习中应用带宽分配问题。 我们的数值研究显示,拟议的算法的效用及其在基于梯度/投影器的轨道上的业绩优势。

0
下载
关闭预览

相关内容

【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
已删除
将门创投
8+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2022年2月11日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关VIP内容
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
相关资讯
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
已删除
将门创投
8+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员