This paper investigates the transmission power control in over-the-air federated edge learning (Air-FEEL) system. Different from conventional power control designs (e.g., to minimize the individual mean squared error (MSE) of the over-the-air aggregation at each round), we consider a new power control design aiming at directly maximizing the convergence speed. Towards this end, we first analyze the convergence behavior of Air-FEEL (in terms of the optimality gap) subject to aggregation errors at different communication rounds. It is revealed that if the aggregation estimates are unbiased, then the training algorithm would converge exactly to the optimal point with mild conditions; while if they are biased, then the algorithm would converge with an error floor determined by the accumulated estimate bias over communication rounds. Next, building upon the convergence results, we optimize the power control to directly minimize the derived optimality gaps under both biased and unbiased aggregations, subject to a set of average and maximum power constraints at individual edge devices. We transform both problems into convex forms, and obtain their structured optimal solutions, both appearing in a form of regularized channel inversion, by using the Lagrangian duality method. Finally, numerical results show that the proposed power control policies achieve significantly faster convergence for Air-FEEL, as compared with benchmark policies with fixed power transmission or conventional MSE minimization.


翻译:本文调查了航空联合边缘学习系统(Air-FEEL)的传输能力控制。 不同于常规电力控制设计( 例如, 最大限度地减少每轮空中汇总的单个平均平方差错 ), 我们考虑一种新的电力控制设计, 目的是直接最大限度地提高趋同速度。 为此, 我们首先分析航空- FEEL( 最佳差距 ) 在不同通信回合中的总和差错下的总和行为。 我们发现, 如果汇总估计没有偏差, 那么培训算法将完全集中到最佳点, 且条件温和; 如果这些算法有偏差, 然后算法会与由每轮通信累计估计偏差所决定的错误层汇合。 下一步, 在趋同结果的基础上, 我们优化了权力控制, 直接将偏差和无偏差的合并( 最佳差距 ) ( ) ( 优化差距 ) 的合并行为, 在不同通信回合中, 我们将这两个问题转换成同位形式, 并获得结构化的最佳解决方案, 两者都以固定通道的形式出现, 温和条件; 如果有偏向, 那么算算算算算算算算, 下, 以稳定的输力比平的双轨法, 最后, 显示平基级的输法, 的输法, 显示平基的输法, 最接近法, 的输法, 最快法, 将 以 最接近法 以 的输法 最 最,,,, 最 最 最 最 最 最 最 最 的输法,,,, 最, 最 最 最 最 最 的 的 以 以 以 以 以 的 的 的 的 的 以 以 的 的 的 的 的 的 的 的 的 的 最 的 的 最 最 的 最 最 的 的 最 最 的 最 最 的 的 的 最 最 最 最 最 最 的 的 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2021年6月30日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
On Accelerating Distributed Convex Optimizations
Arxiv
0+阅读 · 2021年8月19日
Multi-Center Federated Learning
Arxiv
0+阅读 · 2021年8月19日
Arxiv
1+阅读 · 2021年8月17日
VIP会员
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员