This paper investigates the problem of model aggregation in federated learning systems aided by multiple reconfigurable intelligent surfaces (RISs). The effective integration of computation and communication is achieved by over-the-air computation (AirComp). Since all local parameters are transmitted over shared wireless channels, the undesirable propagation error inevitably deteriorates the performance of global aggregation. The objective of this work is to 1) reduce the signal distortion of AirComp; 2) enhance the convergence rate of federated learning. Thus, the mean-square-error and the device set are optimized by designing the transmit power, controlling the receive scalar, tuning the phase shifts, and selecting participants in the model uploading process. The formulated mixed-integer non-linear problem (P0) is decomposed into a non-convex problem (P1) with continuous variables and a combinatorial problem (P2) with integer variables. To solve subproblem (P1), the closed-form expressions for transceivers are first derived, then the multi-antenna cases are addressed by the semidefinite relaxation. Next, the problem of phase shifts design is tackled by invoking the penalty-based successive convex approximation method. In terms of subproblem (P2), the difference-of-convex programming is adopted to optimize the device set for convergence acceleration, while satisfying the aggregation error demand. After that, an alternating optimization algorithm is proposed to find a suboptimal solution for problem (P0). Finally, simulation results demonstrate that i) the designed algorithm can converge faster and aggregate model more accurately compared to baselines; ii) the training loss and prediction accuracy of federated learning can be improved significantly with the aid of multiple RISs.


翻译:本文调查了在多可重新配置智能表面(RIS)帮助下,在联合学习系统中的模型聚合问题。 计算和通信的有效整合是通过超空计算( AirComp) 实现的。 由于所有本地参数都是通过共享无线频道传输的, 不良传播错误不可避免地会恶化全球汇总的性能。 这项工作的目标是:1 减少 AirComp 的信号扭曲; 2 提高联合学习的趋同率。 因此, 平均平方- 透析器和成套装置通过设计传输动力、 控制接收卡路里、 调整阶段变换和选择模型上传过程中的总参与者来实现。 由于所有的本地参数都是通过共享无线频道传输的, 不良传播错误错误的传播错误会减少。 为了解决子方案( P1 ), 搜索传输器的闭合式表达器是第一个测算结果, 然后通过精度模型变换精度的接收卡, 调整阶段转换结果的结果结果的结果结果会降低。 下一步, 升级的流程设计方法将一个问题变成更精确的递增的 。

0
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
145+阅读 · 2019年10月27日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
5+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Bayesian Over-The-Air Computation
Arxiv
0+阅读 · 2021年9月8日
Arxiv
7+阅读 · 2021年4月30日
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
Arxiv
6+阅读 · 2018年4月24日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
145+阅读 · 2019年10月27日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
5+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Bayesian Over-The-Air Computation
Arxiv
0+阅读 · 2021年9月8日
Arxiv
7+阅读 · 2021年4月30日
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
Arxiv
6+阅读 · 2018年4月24日
Arxiv
5+阅读 · 2018年4月22日
Top
微信扫码咨询专知VIP会员