Secure model aggregation is a key component of federated learning (FL) that aims at protecting the privacy of each user's individual model, while allowing their global aggregation. It can be applied to any aggregation-based approaches, including algorithms for training a global model, as well as personalized FL frameworks. Model aggregation needs to also be resilient to likely user dropouts in FL system, making its design substantially more complex. State-of-the-art secure aggregation protocols essentially rely on secret sharing of the random-seeds that are used for mask generations at the users, in order to enable the reconstruction and cancellation of those belonging to dropped users. The complexity of such approaches, however, grows substantially with the number of dropped users. We propose a new approach, named LightSecAgg, to overcome this bottleneck by turning the focus from "random-seed reconstruction of the dropped users" to "one-shot aggregate-mask reconstruction of the active users". More specifically, in LightSecAgg each user protects its local model by generating a single random mask. This mask is then encoded and shared to other users, in such a way that the aggregate-mask of any sufficiently large set of active users can be reconstructed directly at the server via encoded masks. We show that LightSecAgg achieves the same privacy and dropout-resiliency guarantees as the state-of-the-art protocols, while significantly reducing the overhead for resiliency to dropped users. Furthermore, our system optimization helps to hide the runtime cost of offline processing by parallelizing it with model training. We evaluate LightSecAgg via extensive experiments for training diverse models on various datasets in a realistic FL system, and demonstrate that LightSecAgg significantly reduces the total training time, achieving a performance gain of up to $12.7\times$ over baselines.


翻译:安全模型汇总是联邦式学习的关键组成部分,目的是保护每个用户个人模型的隐私,同时允许其全球汇总。它可以应用于任何基于汇总的方法,包括培训全球模型的算法以及个性化的FL框架。模型汇总还需要适应FL系统中可能的用户辍学情况,使其设计更为复杂。最先进的安全汇总协议主要依靠秘密共享随机种子,用于用户掩码代代名,以便重建和取消属于已下降用户的那些。然而,这类方法的复杂性随着被丢用户的数量而大幅增长。我们建议一种新的方法,即名为LightSecAgg,通过将重点从“已丢弃用户的随机种子重建”转向“对活跃用户进行一次性综合地图重建”来克服这一瓶颈。更具体地说,在LightSeceggA中,每个用户都通过生成一个单一的随机的底线掩码来保护其本地模型。这个掩码随后在运行中为其他用户编码并共享运行的运行中运行的系统,这样可以使正在运行的用户的精度增加成本。我们建议一个新的系统能够通过快速的服务器运行一个快速的系统,从而实现整个系统,我们通过智能服务器的快速的升级的系统,我们能够通过直接地展示一个快速的服务器的智能,从而显示一个快速的系统,从而显示一个快速的服务器的运行的运行的服务器的服务器的运行。

0
下载
关闭预览

相关内容

专知会员服务
72+阅读 · 2021年7月3日
最新《神经架构搜索NAS》教程,33页pdf
专知会员服务
26+阅读 · 2020年12月2日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
已删除
将门创投
5+阅读 · 2018年11月15日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2021年11月19日
Privacy-Preserving News Recommendation Model Learning
Arxiv
6+阅读 · 2018年12月10日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
已删除
将门创投
5+阅读 · 2018年11月15日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员