Could a gradient aggregation rule (GAR) for distributed machine learning be both robust and fast? This paper answers by the affirmative through multi-Bulyan. Given $n$ workers, $f$ of which are arbitrary malicious (Byzantine) and $m=n-f$ are not, we prove that multi-Bulyan can ensure a strong form of Byzantine resilience, as well as an ${\frac{m}{n}}$ slowdown, compared to averaging, the fastest (but non Byzantine resilient) rule for distributed machine learning. When $m \approx n$ (almost all workers are correct), multi-Bulyan reaches the speed of averaging. We also prove that multi-Bulyan's cost in local computation is $O(d)$ (like averaging), an important feature for ML where $d$ commonly reaches $10^9$, while robust alternatives have at least quadratic cost in $d$. Our theoretical findings are complemented with an experimental evaluation which, in addition to supporting the linear $O(d)$ complexity argument, conveys the fact that multi-Bulyan's parallelisability further adds to its efficiency.


翻译:分布式机器学习的梯度汇总规则( GAR) 能否既有力又快速? 本文通过多布林语的肯定回答是肯定的。 鉴于美元工人,其中美元是任意恶意( Byzantine) 和 美元=n- f$不是,我们证明多布林可以确保强大的Byzantine抗御能力形式,以及美元(frac{m ⁇ n ⁇ $)的减速,与平均相比,这是分布式机器学习最快(但非Byzantine有弹性)的规则。当美元(几乎所有工人都是正确的)时,多布林语达到平均速度。 我们还证明,多布林语在当地计算中的成本是$(d) (类似于平均) 美元,这是多布林语中的一个重要特征,因为美元通常达到 10 ⁇ 9美元,而稳健的替代品至少以美元计算成四分价成本。 我们的理论结论得到了实验性评估的补充,除了支持线性美元(d) 复杂性论证外,还表明多布林的平行性能进一步增加其平行性。

0
下载
关闭预览

相关内容

Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
150+阅读 · 2019年10月12日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
基于区域的目标检测——细粒度
计算机视觉战队
14+阅读 · 2018年2月1日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关资讯
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
PaperWeekly
120+阅读 · 2019年4月1日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
基于区域的目标检测——细粒度
计算机视觉战队
14+阅读 · 2018年2月1日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员