We resolve the min-max complexity of distributed stochastic convex optimization (up to a log factor) in the intermittent communication setting, where $M$ machines work in parallel over the course of $R$ rounds of communication to optimize the objective, and during each round of communication, each machine may sequentially compute $K$ stochastic gradient estimates. We present a novel lower bound with a matching upper bound that establishes an optimal algorithm.


翻译:我们解决了间歇通信环境中分布式蒸馏孔雀优化(最高为一个日志系数)的最小复杂性,在这种环境中,机器在以R$为单位的通信周期中平行工作,以优化目标;在每轮通信中,每台机器可按顺序计算以K$为单位的蒸馏梯度估计值。 我们提出了一个新颖的下限,配有匹配的上限,以建立最佳算法。

0
下载
关闭预览

相关内容

专知会员服务
75+阅读 · 2021年7月31日
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
专知会员服务
41+阅读 · 2020年9月25日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
104+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
105+阅读 · 2020年5月3日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
269+阅读 · 2019年10月9日
从GE工业互联网到中国工业互联网
未来产业促进会
4+阅读 · 2019年5月5日
已删除
将门创投
4+阅读 · 2018年11月15日
VIP会员
相关VIP内容
专知会员服务
75+阅读 · 2021年7月31日
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
专知会员服务
41+阅读 · 2020年9月25日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
104+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
105+阅读 · 2020年5月3日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
269+阅读 · 2019年10月9日
相关资讯
从GE工业互联网到中国工业互联网
未来产业促进会
4+阅读 · 2019年5月5日
已删除
将门创投
4+阅读 · 2018年11月15日
Top
微信扫码咨询专知VIP会员