To efficiently exploit the massive raw data that is pervading generated at mobile edge networks, federated learning (FL) has emerged as a promising distributed learning technique that was regarded as a substitute for centralized learning operations. By collaboratively training a shared learning model at edge devices, the raw data transmission and storage are bypassed via the local computed parameters/gradients exchange in FL. Hence, FL can overcome high communication latency and privacy issues. While the high dimensionality in iterative updates (millions of parameters/gradients may be included in the model training) still conflicts with the scarcity of communication resources. Over-the-air computation (AirComp) has come into the spotlight recently which profitably leverages the inherent superposition property of wireless channels to perform efficient model aggeration. However, the model aggregation accuracy is still severely damaged by the unfavorable wireless propagation channels. In this paper, we harness the intelligent reflecting surface (IRS) to program the wireless channel, thus acquiring a satisfying learning performance. Specifically, a performance-oriented design scheme that directly minimizes the optimality gap of the loss function is proposed to accelerate the convergence of AirComp based FL. Firstly, we analyze the convergence behavior of the FL procedure. Then, both offline and online design approaches are proposed based on the obtained optimality gap. We adopt the block coordinate descent (BCD) method to tackle the highly-intractable problem. Simulation results demonstrate that such a performance-oriented design strategy can achieve higher test accuracy than the conventional isolated mean square error (MSE) minimization approach in FL.


翻译:为了有效地利用移动边缘网络产生的大量原始数据,联合学习(FL)已成为一种有希望的分布式学习技术,被认为是集中学习作业的替代物。通过合作培训边缘设备共享学习模式,原始数据传输和存储被FL本地计算参数/梯度交换所绕过。因此,FL可以克服高通信延迟度和隐私问题。虽然迭代更新中的高维度(百万参数/梯度可能包括在模型培训中)仍然与通信资源的稀缺相冲突。超空计算(AirComp)最近成为焦点,它有利地利用无线频道固有的超定位属性来实施高效模式的更错位。然而,模型汇总准确性仍然受到不易变的无线通信频道的严重损坏。在本文中,我们利用智能反映表面的表面来编程无线频道,从而获得令人满意的学习性能。具体地说,一个面向业绩的设计计划,直接将损失功能的最佳差距降到最低程度。超空计算(AirCompread)最近才利用无线连接的平方位计算法设计方法加速FCommal 的趋同FL 方法。我们提出了一种基于FCommal 的Slodial 的方法。我们提出了一种基于FL SAlegal rode 的模拟的模拟的简化式方法。

0
下载
关闭预览

相关内容

【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
118+阅读 · 2022年4月21日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium3
中国图象图形学学会CSIG
0+阅读 · 2021年11月9日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium2
中国图象图形学学会CSIG
0+阅读 · 2021年11月8日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
【ICIG2021】Latest News & Announcements of the Industry Talk2
中国图象图形学学会CSIG
0+阅读 · 2021年7月29日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年8月8日
VIP会员
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium3
中国图象图形学学会CSIG
0+阅读 · 2021年11月9日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium2
中国图象图形学学会CSIG
0+阅读 · 2021年11月8日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
【ICIG2021】Latest News & Announcements of the Industry Talk2
中国图象图形学学会CSIG
0+阅读 · 2021年7月29日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员