In this paper, we study asynchronous federated learning (FL) in a wireless distributed learning network (WDLN). To allow each edge device to use its local data more efficiently via asynchronous FL, transmission scheduling in the WDLN for asynchronous FL should be carefully determined considering system uncertainties, such as time-varying channel and stochastic data arrivals, and the scarce radio resources in the WDLN. To address this, we propose a metric, called an effectivity score, which represents the amount of learning from asynchronous FL. We then formulate an Asynchronous Learning-aware transmission Scheduling (ALS) problem to maximize the effectivity score and develop three ALS algorithms, called ALSA-PI, BALSA, and BALSA-PO, to solve it. If the statistical information about the uncertainties is known, the problem can be optimally and efficiently solved by ALSA-PI. Even if not, it can be still optimally solved by BALSA that learns the uncertainties based on a Bayesian approach using the state information reported from devices. BALSA-PO suboptimally solves the problem, but it addresses a more restrictive WDLN in practice, where the AP can observe a limited state information compared with the information used in BALSA. We show via simulations that the models trained by our ALS algorithms achieve performances close to that by an ideal benchmark and outperform those by other state-of-the-art baseline scheduling algorithms in terms of model accuracy, training loss, learning speed, and robustness of learning. These results demonstrate that the adaptive scheduling strategy in our ALS algorithms is effective to asynchronous FL.


翻译:在本文中,我们在一个无线分布式学习网络(WDLN)中研究非同步的联结学习(FL)(FL ) 。 为了让每个边缘装置能够通过无同步式FL更有效地使用其本地数据,应当仔细确定WDLN中无同步FL的传输进度,考虑到系统不确定性,例如时间变化频道和数据到达,以及WDLN的稀少的无线电资源。为了解决这个问题,我们建议采用一个计量,称为效果性能评分,它代表着从非同步式FLL的学习数量。然后,我们设计一个“A-A-A-aware”自动传输系统(ALS)问题,以最大限度地提高效果分数,并开发三种ALS 算法,称为AL-PL的传输进度表,以解决这个问题。如果了解有关不确定性的统计资料,那么问题可以通过AL-PI的模型得到最佳和有效的解决。即使不是如此,BALSA的精确的算法,但是通过BALSA(B-L)的精确度(BA-L)的精确度(SA-L)方法,在BA-L)的精细化的精细化的精确度上,通过一个精确的精确的精确的精确的精确度上,通过一个测试的精确度,通过一个测试的精确的精确的精确的精确度,通过一个测试的精确的精确的精确的计算方法,从一个精确的精确度的精确度,从一个精确的计算方法学习到一个精确度,我们测测算方法,我们测算方法,从一个精确的精确的精确的精确的精确的精确的精确的精确的计算方法,从一个精确的计算方法,从一个精确的精确的精确的精确的精确的计算方法,从一个测试的精确的精确的计算方法,从一个精确的精确的精确的计算,从一个精确的计算方法,从一个测量的计算,从一个测试的计算方法学习到我们所使用的的精确的精确的计算方法,从一个精确的精确的精确的计算中学习到我们所使用的的计算中学习到我们所使用的的精确的计算。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
30+阅读 · 2021年6月12日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
128+阅读 · 2020年5月14日
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
MIT新书《强化学习与最优控制》
专知会员服务
270+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
人工智能 | ISAIR 2019诚邀稿件(推荐SCI期刊)
Call4Papers
6+阅读 · 2019年4月1日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
计算机视觉领域顶会CVPR 2018 接受论文列表
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
1+阅读 · 2021年8月21日
VIP会员
相关VIP内容
专知会员服务
30+阅读 · 2021年6月12日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
128+阅读 · 2020年5月14日
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
MIT新书《强化学习与最优控制》
专知会员服务
270+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
人工智能 | ISAIR 2019诚邀稿件(推荐SCI期刊)
Call4Papers
6+阅读 · 2019年4月1日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
计算机视觉领域顶会CVPR 2018 接受论文列表
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员