Machine learning and wireless communication technologies are jointly facilitating an intelligent edge, where federated edge learning (FEEL) is a promising training framework. As wireless devices involved in FEEL are resource limited in terms of communication bandwidth, computing power and battery capacity, it is important to carefully schedule them to optimize the training performance. In this work, we consider an over-the-air FEEL system with analog gradient aggregation, and propose an energy-aware dynamic device scheduling algorithm to optimize the training performance under energy constraints of devices, where both communication energy for gradient aggregation and computation energy for local training are included. The consideration of computation energy makes dynamic scheduling challenging, as devices are scheduled before local training, but the communication energy for over-the-air aggregation depends on the l2-norm of local gradient, which is known after local training. We thus incorporate estimation methods into scheduling to predict the gradient norm. Taking the estimation error into account, we characterize the performance gap between the proposed algorithm and its offline counterpart. Experimental results show that, under a highly unbalanced local data distribution, the proposed algorithm can increase the accuracy by 4.9% on CIFAR-10 dataset compared with the myopic benchmark, while satisfying the energy constraints.


翻译:机械学习和无线通信技术正在共同促进智能优势,即联合边际学习(FEEL)是一个充满希望的培训框架;由于感知中的无线装置是通信带宽、计算电力和电池能力方面的资源有限的资源,因此必须仔细安排它们,以优化培训业绩;在这项工作中,我们考虑一种具有模拟梯度聚合的超空感觉系统,并提议一种能觉动态装置调度算法,以优化在设备能源限制下的培训业绩,其中既包括用于梯度汇总的通信能源,也包括用于当地培训的计算能源;考虑计算能源使动态的时间安排具有挑战性,因为装置是在当地培训之前安排的,但超空聚集的通信能量取决于当地梯度的纬度,这是在当地培训之后所知道的。因此,我们把估算方法纳入预测梯度规范的时间安排中。考虑到估计错误,我们确定了拟议算法与离线对等的计算方法之间的性能差距。实验结果表明,根据高度不平衡的当地数据分布,拟议的计算法可以使CIFAR-10数据集成的准确度增加4.9%,与近光基准相比,同时满足能源限制。

0
下载
关闭预览

相关内容

Feel,是一款科学地激励用户实现健康生活目标的应用。 想要减肥,塑形,增高,提升活力,睡个好觉,产后恢复……?针对不同的目标,Feel为您定制个性化的健康生活计划,并通过各种记录工具和激励手段帮您实现目标。
【机器学习术语宝典】机器学习中英文术语表
专知会员服务
59+阅读 · 2020年7月12日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
ICML2019:Google和Facebook在推进哪些方向?
专知
5+阅读 · 2019年6月13日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年7月22日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
45+阅读 · 2019年12月20日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
ICML2019:Google和Facebook在推进哪些方向?
专知
5+阅读 · 2019年6月13日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员