In this paper, we consider decentralized federated learning (FL) over wireless networks, where over-the-air computation (AirComp) is adopted to facilitate the local model consensus in a device-to-device (D2D) communication manner. However, the AirComp-based consensus phase brings the additive noise in each algorithm iterate and the consensus needs to be robust to wireless network topology changes, which introduce a coupled and novel challenge of establishing the convergence for wireless decentralized FL algorithm. To facilitate consensus phase, we propose an AirComp-based DSGD with gradient tracking and variance reduction (DSGT-VR) algorithm, where both precoding and decoding strategies are developed for D2D communication. Furthermore, we prove that the proposed algorithm converges linearly and establish the optimality gap for strongly convex and smooth loss functions, taking into account the channel fading and noise. The theoretical result shows that the additional error bound in the optimality gap depends on the number of devices. Extensive simulations verify the theoretical results and show that the proposed algorithm outperforms other benchmark decentralized FL algorithms over wireless networks.


翻译:在本文中,我们考虑对无线网络进行分散化的联邦化学习(FL),在无线网络上采用超空计算(AirComp),以便利在设备到装置的通信方式中达成当地模式共识;然而,基于AirComp的共识阶段在每种算法的迭代中带来添加噪音,而共识需要对无线网络的地形变化产生强力,这带来了为无线分散式FL算法建立趋同的结合和新颖的挑战;为了便利达成共识阶段,我们提议采用基于AirComp的DSGD, 配有梯度跟踪和减少差异算法(DSGT-VR),其中为DS2D通信制定预编码和解码战略。此外,我们证明拟议的算法是线性汇合的,并确定了强连接和平稳损失功能的最佳性差距,同时考虑到频道的变形和噪音。理论结果显示,最佳化差距中的额外错误取决于装置的数量。广泛的模拟核查理论结果,并显示拟议的算法比无线网络上其他分散的FL算法。

0
下载
关闭预览

相关内容

Explanation:无线网。 Publisher:Springer。 SIT: http://dblp.uni-trier.de/db/journals/winet/
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
4+阅读 · 2019年6月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
6+阅读 · 2018年4月24日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
4+阅读 · 2019年6月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员