Federated learning (FL) is a privacy-friendly type of machine learning where devices locally train a model on their private data and typically communicate model updates with a server. In decentralized FL (DFL), peers communicate model updates with each other instead. However, DFL is challenging since (1) the training data possessed by different peers is often non-i.i.d. (i.e., distributed differently between the peers) and (2) malicious, or Byzantine, attackers can share arbitrary model updates with other peers to subvert the training process. We address these two challenges and present Bristle, middleware between the learning application and the decentralized network layer. Bristle leverages transfer learning to predetermine and freeze the non-output layers of a neural network, significantly speeding up model training and lowering communication costs. To securely update the output layer with model updates from other peers, we design a fast distance-based prioritizer and a novel performance-based integrator. Their combined effect results in high resilience to Byzantine attackers and the ability to handle non-i.i.d. classes. We empirically show that Bristle converges to a consistent 95% accuracy in Byzantine environments, outperforming all evaluated baselines. In non-Byzantine environments, Bristle requires 83% fewer iterations to achieve 90% accuracy compared to state-of-the-art methods. We show that when the training classes are non-i.i.d., Bristle significantly outperforms the accuracy of the most Byzantine-resilient baselines by 2.3x while reducing communication costs by 90%.


翻译:联邦学习(FL)是一种方便隐私的机器学习类型, 当地设备用其私人数据培训模型, 并通常用服务器进行模式更新。 在分散的 FL (DFL) 中, 同行相互交流模式更新。 然而, DFL 具有挑战性, 因为(1) 不同同行拥有的培训数据往往不i. i. id. (即, 同行之间分布不同) 和 (2) 恶意, 或 Byzantine, 攻击者可以与其他同行分享任意的模型更新, 以破坏培训进程。 我们应对了这两个挑战, 并展示了Brishantle、 学习应用程序和分散的网络层之间的中间软件。 在分散的 FLLL( DFL) 中, 同行将学习转换为预定式, 并冻结神经网络的非输出层, 大大加快模型培训速度, 降低通信成本。 为了安全地更新输出层, 我们设计了一个快速的远程优先级, 和新的基于性能的聚合器。 它们的综合效果导致Bytantine攻击者高度的恢复能力, i. d. clastle.

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
专知会员服务
91+阅读 · 2021年6月3日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
专知会员服务
115+阅读 · 2019年12月24日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
浅谈主动学习(Active Learning)
凡人机器学习
31+阅读 · 2020年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年12月15日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
10+阅读 · 2021年3月30日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
7+阅读 · 2018年12月26日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
浅谈主动学习(Active Learning)
凡人机器学习
31+阅读 · 2020年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年12月15日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
10+阅读 · 2021年3月30日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
7+阅读 · 2018年12月26日
Top
微信扫码咨询专知VIP会员