The traditional cloud-centric approach for Deep Learning (DL) requires training data to be collected and processed at a central server which is often challenging in privacy-sensitive domains like healthcare. Towards this, a new learning paradigm called Federated Learning (FL) has been proposed that brings the potential of DL to these domains while addressing privacy and data ownership issues. FL enables remote clients to learn a shared ML model while keeping the data local. However, conventional FL systems face several challenges such as scalability, complex infrastructure management, and wasted compute and incurred costs due to idle clients. These challenges of FL systems closely align with the core problems that serverless computing and Function-as-a-Service (FaaS) platforms aim to solve. These include rapid scalability, no infrastructure management, automatic scaling to zero for idle clients, and a pay-per-use billing model. To this end, we present a novel system and framework for serverless FL, called FedLess. Our system supports multiple commercial and self-hosted FaaS providers and can be deployed in the cloud, on-premise in institutional data centers, and on edge devices. To the best of our knowledge, we are the first to enable FL across a large fabric of heterogeneous FaaS providers while providing important features like security and Differential Privacy. We demonstrate with comprehensive experiments that the successful training of DNNs for different tasks across up to 200 client functions and more is easily possible using our system. Furthermore, we demonstrate the practical viability of our methodology by comparing it against a traditional FL system and show that it can be cheaper and more resource-efficient.


翻译:传统的深层学习以云为中心的方法(DL)要求在一个中央服务器上收集和处理培训数据,而中央服务器往往在诸如医疗保健等对隐私敏感的领域具有挑战性。为此,提出了一个新的学习模式,名为Federal Learning(Federal),在解决隐私和数据所有权问题的同时,将DL的潜力带给这些领域。FL使远程客户能够学习共享的ML模式,同时保持数据本地化。然而,传统的FL系统面临多种挑战,如可缩缩放性、复杂的基础设施管理、浪费计算和因闲置客户而产生的成本。FaS系统的这些挑战与无服务器计算和功能对等服务(Faas-Service)平台所要解决的核心问题密切相关。这些挑战包括快速缩放性、没有基础设施管理、自动缩放至零,同时处理隐私和数据所有权问题。为此,我们为没有服务器的FLL系统提供了一个全新的系统和框架。我们的FaaaS系统可以支持多种商业和自我托管的、成本化的供应商,并且可以部署在云中,在机构数据中心进行预置,并在边端服务器平台上展示一个我们的重要的系统,让我们能够展示一个像Falimalal-L这样的系统,从而展示一个更好的安全系统,从而展示一个更好的安全系统,从而展示我们更成功的系统,从而展示一个更好的安全的系统。

0
下载
关闭预览

相关内容

专知会员服务
91+阅读 · 2021年7月23日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
60+阅读 · 2019年12月21日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
Arxiv
4+阅读 · 2021年1月14日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员