This paper investigates the transmission power control in over-the-air federated edge learning (Air-FEEL) system. Different from conventional power control designs (e.g., to minimize the individual mean squared error (MSE) of the over-the-air aggregation at each round), we consider a new power control design aiming at directly maximizing the convergence speed. Towards this end, we first analyze the convergence behavior of Air-FEEL (in terms of the optimality gap) subject to aggregation errors at different communication rounds. It is revealed that if the aggregation estimates are unbiased, then the training algorithm would converge exactly to the optimal point with mild conditions; while if they are biased, then the algorithm would converge with an error floor determined by the accumulated estimate bias over communication rounds. Next, building upon the convergence results, we optimize the power control to directly minimize the derived optimality gaps under both biased and unbiased aggregations, subject to a set of average and maximum power constraints at individual edge devices. We transform both problems into convex forms, and obtain their structured optimal solutions, both appearing in a form of regularized channel inversion, by using the Lagrangian duality method. Finally, numerical results show that the proposed power control policies achieve significantly faster convergence for Air-FEEL, as compared with benchmark policies with fixed power transmission or conventional MSE minimization.


翻译:本文调查了航空联合边缘学习系统(Air-FEEL)的传输能力控制。 不同于常规电力控制设计( 例如, 最大限度地减少每轮空中汇总的单个平均平方差错 ), 我们考虑一种新的电力控制设计, 目的是直接最大限度地提高趋同速度。 为此, 我们首先分析航空- FEEL( 最佳差距 ) 在不同通信回合中的总和差错下的总和行为。 我们发现, 如果汇总估计没有偏差, 那么培训算法将完全集中到最佳点, 且条件温和; 如果这些算法有偏差, 然后算法会与由每轮通信累计估计偏差所决定的错误层汇合。 下一步, 在趋同结果的基础上, 我们优化了权力控制, 直接将偏差和无偏差的合并( 最佳差距 ) ( ) ( 优化差距 ) 的合并行为, 在不同通信回合中, 我们将这两个问题转换成同位形式, 并获得结构化的最佳解决方案, 两者都以固定通道的形式出现, 温和条件; 如果有偏向, 那么算算算算算算算算, 下, 以稳定的输力比平的双轨法, 最后, 显示平基级的输法, 的输法, 显示平基的输法, 最接近法, 的输法, 最快法, 将 以 最接近法 以 的输法 最 最,,,, 最 最 最 最 最 最 最 最 的输法,,,, 最, 最 最 最 最 最 的 的 以 以 以 以 以 的 的 的 的 的 以 以 的 的 的 的 的 的 的 的 的 的 最 的 的 最 最 的 最 最 的 的 最 最 的 最 最 的 的 的 最 最 最 最 最 最 的 的 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最 最

1
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年5月21日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月13日
Arxiv
7+阅读 · 2021年10月19日
Arxiv
7+阅读 · 2021年4月30日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员