To bridge the digital divide, space-ground integrated networks (SGINs) are expected to deliver artificial intelligence (AI) services to every corner of the world. One key mission of SGINs is to support federated learning (FL) at a global scale. However, existing space-ground integrated FL frameworks involve ground stations or costly inter-satellite links, entailing excessive training latency and communication costs. To overcome these limitations, we propose an infrastructure-free federated learning framework based on a model dispersal (FedMeld) strategy, which exploits periodic movement patterns and store-carry-forward capabilities of satellites to enable parameter mixing across large-scale geographical regions. We theoretically show that FedMeld leads to global model convergence and quantify the effects of round interval and mixing ratio between adjacent areas on its learning performance. Based on the theoretical results, we formulate a joint optimization problem to design the staleness control and mixing ratio (SC-MR) for minimizing the training loss. By decomposing the problem into sequential SC and MR subproblems without compromising the optimality, we derive the round interval solution in a closed form and the mixing ratio in a semi-closed form to achieve the optimal latency-accuracy tradeoff. Experiments using various datasets demonstrate that FedMeld achieves superior model accuracy while significantly reducing communication costs as compared with traditional FL schemes for SGINs.


翻译:为弥合数字鸿沟,空天地一体化网络(SGINs)有望将人工智能(AI)服务覆盖至全球每个角落。SGINs的一项关键使命是在全球范围内支持联邦学习(FL)。然而,现有的空天地一体化FL框架需要依赖地面站或昂贵的星间链路,导致训练延迟和通信成本过高。为克服这些限制,我们提出了一种基于模型分散策略的无基础设施联邦学习框架(FedMeld),该框架利用卫星的周期性运动模式和存储-携带-转发能力,实现跨大规模地理区域的参数混合。我们从理论上证明了FedMeld能够实现全局模型收敛,并量化了相邻区域间轮次间隔与混合比例对其学习性能的影响。基于理论结果,我们构建了一个联合优化问题,以设计用于最小化训练损失的陈旧性控制与混合比例(SC-MR)。通过在不损失最优性的前提下将问题分解为顺序的SC和MR子问题,我们推导出了闭式形式的轮次间隔解和半闭式形式的混合比例解,以实现最优的延迟-精度权衡。使用多种数据集的实验表明,与传统的SGINs FL方案相比,FedMeld在显著降低通信成本的同时,实现了更优的模型精度。

0
下载
关闭预览

相关内容

【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
24+阅读 · 2022年9月22日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员