We consider federated edge learning (FEEL) over wireless fading channels taking into account the downlink and uplink channel latencies, and the random computation delays at the clients. We speed up the training process by overlapping the communication with computation. With fountain coded transmission of the global model update, clients receive the global model asynchronously, and start performing local computations right away. Then, we propose a dynamic client scheduling policy, called MRTP, for uploading local model updates to the parameter server (PS), which, at any time, schedules the client with the minimum remaining upload time. However, MRTP can lead to biased participation of clients in the update process, resulting in performance degradation in non-iid data scenarios. To overcome this, we propose two alternative schemes with fairness considerations, termed as age-aware MRTP (A-MRTP), and opportunistically fair MRTP (OF-MRTP). In A-MRTP, the remaining clients are scheduled according to the ratio between their remaining transmission time and the update age, while in OF-MRTP, the selection mechanism utilizes the long term average channel rate of the clients to further reduce the latency while ensuring fair participation of the clients. It is shown through numerical simulations that OF-MRTP provides significant reduction in latency without sacrificing test accuracy.


翻译:我们考虑到下链接和上链接频道的延迟时间以及客户的随机计算延误,将无线淡化频道的边际学习(FEEL)视为对无线淡化频道的联盟式边际学习(FEEL),我们考虑到下链接和上链接频道的延迟时间以及客户的随机计算延误。我们加快了培训进程,把通信与计算重叠。随着全球模型更新的喷泉编码传输,客户会收到全球模型的无同步状态,并立即开始进行本地计算。然后,我们提出了一个动态客户日程安排政策,称为MRTP(MRTP),将本地模型更新的更新内容上传到参数服务器(PS)上,该服务器随时将客户的时间排在最短的上传时间里。然而,MRTP可能导致客户在更新过程中有偏向偏向,从而导致非二位数据情景中的性能退化。为了克服这一点,我们提出了两种带有公平考虑的替代方案,即年龄认知MRTTP(A-MRTTP)和机会公平的MRTTP(O-MTP)之间比例,其余客户根据剩余传输时间与更新年龄之间的比,安排,同时选择机制利用客户的长期平均频道率,进一步降低其模拟中展示。

0
下载
关闭预览

相关内容

【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
150+阅读 · 2019年10月12日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
2+阅读 · 2021年11月2日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
10+阅读 · 2021年3月30日
VIP会员
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员