Federated Learning (FL) aims to train high-quality models in collaboration with distributed clients while not uploading their local data, which attracts increasing attention in both academia and industry. However, there is still a considerable gap between the flourishing FL research and real-world scenarios, mainly caused by the characteristics of heterogeneous devices and its scales. Most existing works conduct evaluations with homogeneous devices, which are mismatched with the diversity and variability of heterogeneous devices in real-world scenarios. Moreover, it is challenging to conduct research and development at scale with heterogeneous devices due to limited resources and complex software stacks. These two key factors are important yet underexplored in FL research as they directly impact the FL training dynamics and final performance, making the effectiveness and usability of FL algorithms unclear. To bridge the gap, in this paper, we propose an efficient and scalable prototyping system for real-world cross-device FL, FS-Real. It supports heterogeneous device runtime, contains parallelism and robustness enhanced FL server, and provides implementations and extensibility for advanced FL utility features such as personalization, communication compression and asynchronous aggregation. To demonstrate the usability and efficiency of FS-Real, we conduct extensive experiments with various device distributions, quantify and analyze the effect of the heterogeneous device and various scales, and further provide insights and open discussions about real-world FL scenarios. Our system is released to help to pave the way for further real-world FL research and broad applications involving diverse devices and scales.


翻译:联邦学习旨在通过与分布式客户端合作培训高质量模型,同时不上传其本地数据,这在学术界和业界越来越受到关注。然而,实际场景中的异构设备和规模特征仍存在相当大的差距。大多数现有工作都与同质设备匹配进行评估,这与实际场景中异构设备的多样性和可变性不匹配。此外,由于资源有限和软件堆栈复杂,利用异构设备进行规模化研究和开发也是具有挑战性的。这两个关键因素在联邦学习研究中很重要,但是由于它们直接影响联邦学习培训动态和最终性能,使得联邦学习算法的效果和可用性不明确。为了弥合这一差距,本文提出了一个高效可扩展的面向真实跨设备的联邦学习原型系统FS-Real。它支持异构设备运行时,包含并行和鲁棒性增强的联邦学习服务器,并为高级联邦学习实用功能(如个性化,通信压缩和异步聚合)提供实现和扩展性。为了展示FS-Real的可用性和效率,我们进行了各种设备分布的广泛实验,量化和分析了异构设备和各种规模的影响,并进一步提供关于实际联邦学习场景的见解和开放式讨论。我们发布该系统,以帮助铺平进一步实际联邦学习研究和涉及多样设备和规模的广泛应用的道路。

0
下载
关闭预览

相关内容

iOS 8 提供的应用间和应用跟系统的功能交互特性。
  • Today (iOS and OS X): widgets for the Today view of Notification Center
  • Share (iOS and OS X): post content to web services or share content with others
  • Actions (iOS and OS X): app extensions to view or manipulate inside another app
  • Photo Editing (iOS): edit a photo or video in Apple's Photos app with extensions from a third-party apps
  • Finder Sync (OS X): remote file storage in the Finder with support for Finder content annotation
  • Storage Provider (iOS): an interface between files inside an app and other apps on a user's device
  • Custom Keyboard (iOS): system-wide alternative keyboards

Source: iOS 8 Extensions: Apple’s Plan for a Powerful App Ecosystem
博士论文《联邦学习仿真器》221页,米兰理工大学
专知会员服务
29+阅读 · 2023年3月14日
【ICDM 2022教程】图挖掘中的公平性:度量、算法和应用
专知会员服务
25+阅读 · 2022年12月26日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Presto on Apache Kafka 在 Uber的大规模应用
AI前线
0+阅读 · 2022年6月9日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
19+阅读 · 2022年10月10日
Arxiv
10+阅读 · 2021年3月30日
Arxiv
13+阅读 · 2021年3月3日
VIP会员
相关VIP内容
博士论文《联邦学习仿真器》221页,米兰理工大学
专知会员服务
29+阅读 · 2023年3月14日
【ICDM 2022教程】图挖掘中的公平性:度量、算法和应用
专知会员服务
25+阅读 · 2022年12月26日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员