In this paper, we study asynchronous federated learning (FL) in a wireless distributed learning network (WDLN). To allow each edge device to use its local data more efficiently via asynchronous FL, transmission scheduling in the WDLN for asynchronous FL should be carefully determined considering system uncertainties, such as time-varying channel and stochastic data arrivals, and the scarce radio resources in the WDLN. To address this, we propose a metric, called an effectivity score, which represents the amount of learning from asynchronous FL. We then formulate an Asynchronous Learning-aware transmission Scheduling (ALS) problem to maximize the effectivity score and develop three ALS algorithms, called ALSA-PI, BALSA, and BALSA-PO, to solve it. If the statistical information about the uncertainties is known, the problem can be optimally and efficiently solved by ALSA-PI. Even if not, it can be still optimally solved by BALSA that learns the uncertainties based on a Bayesian approach using the state information reported from devices. BALSA-PO suboptimally solves the problem, but it addresses a more restrictive WDLN in practice, where the AP can observe a limited state information compared with the information used in BALSA. We show via simulations that the models trained by our ALS algorithms achieve performances close to that by an ideal benchmark and outperform those by other state-of-the-art baseline scheduling algorithms in terms of model accuracy, training loss, learning speed, and robustness of learning. These results demonstrate that the adaptive scheduling strategy in our ALS algorithms is effective to asynchronous FL.


翻译:在本文中,我们在一个无线分布式学习网络(WDLN)中研究非同步的联结学习(FL)(FL ) 。 为了让每个边缘装置能够通过无同步式FL更有效地使用其本地数据,应当仔细确定WDLN中无同步FL的传输进度,考虑到系统不确定性,例如时间变化频道和数据到达,以及WDLN的稀少的无线电资源。为了解决这个问题,我们建议采用一个计量,称为效果性能评分,它代表着从非同步式FLL的学习数量。然后,我们设计一个“A-A-A-aware”自动传输系统(ALS)问题,以最大限度地提高效果分数,并开发三种ALS 算法,称为AL-PL的传输进度表,以解决这个问题。如果了解有关不确定性的统计资料,那么问题可以通过AL-PI的模型得到最佳和有效的解决。即使不是如此,BALSA的精确的算法,但是通过BALSA(B-L)的精确度(BA-L)的精确度(SA-L)方法,在BA-L)的精细化的精细化的精确度上,通过一个精确的精确的精确的精确的精确度上,通过一个测试的精确度,通过一个测试的精确的精确的精确的精确度,通过一个测试的精确的精确的精确的计算方法,从一个精确的精确度的精确度,从一个精确的计算方法学习到一个精确度,我们测测算方法,我们测算方法,从一个精确的精确的精确的精确的精确的精确的精确的精确的计算方法,从一个精确的计算方法,从一个精确的精确的精确的精确的精确的计算方法,从一个测试的精确的精确的计算方法,从一个精确的精确的精确的计算,从一个精确的计算方法,从一个测量的计算,从一个测试的计算方法学习到我们所使用的的精确的精确的计算方法,从一个精确的精确的精确的计算中学习到我们所使用的的计算中学习到我们所使用的的精确的计算。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
10+阅读 · 2021年3月30日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
VIP会员
相关VIP内容
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员