Federated Learning (FL) enables mobile edge devices, functioning as clients, to collaboratively train a decentralized model while ensuring local data privacy. However, the efficiency of FL in wireless networks is limited not only by constraints on communication and computational resources but also by significant data heterogeneity among clients, particularly in large-scale networks. This paper first presents a theoretical analysis of the impact of client data heterogeneity on global model generalization error, which can result in repeated training cycles, increased energy consumption, and prolonged latency. Based on the theoretical insights, an optimization problem is formulated to jointly minimize learning latency and energy consumption while constraining generalization error. A joint client selection and resource allocation (CSRA) approach is then proposed, employing a series of convex optimization and relaxation techniques. Extensive simulation results demonstrate that the proposed CSRA scheme yields higher test accuracy, reduced learning latency, and lower energy consumption compared to baseline methods that do not account for data heterogeneity.


翻译:联邦学习(FL)使得作为客户端的移动边缘设备能够在保证本地数据隐私的前提下,协作训练一个去中心化模型。然而,无线网络中联邦学习的效率不仅受到通信和计算资源的限制,还受到客户端之间显著的数据异构性(尤其是在大规模网络中)的制约。本文首先从理论上分析了客户端数据异构性对全局模型泛化误差的影响,这种影响可能导致训练周期重复、能耗增加以及时延延长。基于理论分析,我们构建了一个优化问题,旨在约束泛化误差的同时联合最小化学习时延与能耗。随后,提出了一种联合客户端选择与资源分配(CSRA)方法,该方法采用了一系列凸优化与松弛技术。大量仿真结果表明,与未考虑数据异构性的基准方法相比,所提出的CSRA方案能够实现更高的测试精度、更低的学习时延以及更低的能耗。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
48+阅读 · 2025年11月21日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
【AAAI2022】SVT-Net的超轻量化网络
专知会员服务
21+阅读 · 2021年12月5日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
手把手教你构建ResNet残差网络
专知
38+阅读 · 2018年4月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
48+阅读 · 2025年11月21日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
【AAAI2022】SVT-Net的超轻量化网络
专知会员服务
21+阅读 · 2021年12月5日
相关资讯
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
手把手教你构建ResNet残差网络
专知
38+阅读 · 2018年4月27日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员