Federated Learning (FL) is an emerging approach for collaboratively training Deep Neural Networks (DNNs) on mobile devices, without private user data leaving the devices. Previous works have shown that non-Independent and Identically Distributed (non-IID) user data harms the convergence speed of the FL algorithms. Furthermore, most existing work on FL measures global-model accuracy, but in many cases, such as user content-recommendation, improving individual User model Accuracy (UA) is the real objective. To address these issues, we propose a Multi-Task FL (MTFL) algorithm that introduces non-federated Batch-Normalization (BN) layers into the federated DNN. MTFL benefits UA and convergence speed by allowing users to train models personalised to their own data. MTFL is compatible with popular iterative FL optimisation algorithms such as Federated Averaging (FedAvg), and we show empirically that a distributed form of Adam optimisation (FedAvg-Adam) benefits convergence speed even further when used as the optimisation strategy within MTFL. Experiments using MNIST and CIFAR10 show that MTFL is able to significantly reduce the number of rounds required to reach a target UA, by up to $5\times$ when using existing FL optimisation strategies, and with a further $3\times$ improvement when using FedAvg-Adam. We compare MTFL to competing personalised FL algorithms, showing that it is able to achieve the best UA for MNIST and CIFAR10 in all considered scenarios. Finally, we evaluate MTFL with FedAvg-Adam on an edge-computing testbed, showing that its convergence and UA benefits outweigh its overhead.


翻译:联邦学习联合会(FL)是合作培训移动设备深度神经网络(DNN)的新兴方法,没有私人用户数据,也没有留下设备。以前的工作表明,非独立和同发(非IID)用户数据会损害FL算法的趋同速度。此外,大部分关于FL的现有工作衡量全球模型的准确性,但在许多情况下,如用户内容建议,改进个人用户模型Accuila(UA)是真正的目标。为了解决这些问题,我们提议了一个多塔斯克FL(MTFL)算法,在FNN(非IID)中引入非联合的批发(BNB)层。 MTFL(非IID) 用户数据不利于FL(FL) 算法的趋同速度。MTFL(FA(FedA)算法(UAFA-ADL)算法(UAFAFA)算得更精确化的分布式格式,当AFATFL(FATFL)算法显示其最快速化战略后,ML(FATFAL)算算算算算算算得更小。

0
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
32+阅读 · 2020年4月15日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Arxiv
0+阅读 · 2021年6月10日
Arxiv
0+阅读 · 2021年6月5日
Arxiv
0+阅读 · 2021年6月2日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
3+阅读 · 2018年11月19日
Federated Learning for Mobile Keyboard Prediction
Arxiv
5+阅读 · 2018年11月8日
Arxiv
5+阅读 · 2017年7月25日
VIP会员
相关资讯
相关论文
Arxiv
0+阅读 · 2021年6月10日
Arxiv
0+阅读 · 2021年6月5日
Arxiv
0+阅读 · 2021年6月2日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
3+阅读 · 2018年11月19日
Federated Learning for Mobile Keyboard Prediction
Arxiv
5+阅读 · 2018年11月8日
Arxiv
5+阅读 · 2017年7月25日
Top
微信扫码咨询专知VIP会员