Recent studies show that private training data can be leaked through the gradients sharing mechanism deployed in distributed machine learning systems, such as federated learning (FL). Increasing batch size to complicate data recovery is often viewed as a promising defense strategy against data leakage. In this paper, we revisit this defense premise and propose an advanced data leakage attack with theoretical justification to efficiently recover batch data from the shared aggregated gradients. We name our proposed method as catastrophic data leakage in vertical federated learning (CAFE). Comparing to existing data leakage attacks, our extensive experimental results on vertical FL settings demonstrate the effectiveness of CAFE to perform large-batch data leakage attack with improved data recovery quality. We also propose a practical countermeasure to mitigate CAFE. Our results suggest that private data participated in standard FL, especially the vertical case, have a high risk of being leaked from the training gradients. Our analysis implies unprecedented and practical data leakage risks in those learning settings. The code of our work is available at https://github.com/DeRafael/CAFE.


翻译:最近的研究显示,私营培训数据可以通过分布式机器学习系统(如联合学习系统)部署的梯度共享机制泄露,例如联合学习系统(FL)。 增加批量规模使数据恢复复杂化往往被视为防止数据泄漏的有希望的防御战略。在本文件中,我们重新审视这一防御前提,并提出先进的数据泄漏攻击,从理论上说明理由,以便从共享的汇总梯度中有效回收批量数据。我们将我们提出的方法称为纵向联合学习中的灾难性数据泄漏。与现有数据泄漏攻击相比,我们在垂直FL设置上的广泛实验结果表明,CAFE以更好的数据回收质量对大批量数据泄漏进行攻击是有效的。我们还提出了减少CAFE的切实对策。我们的结果表明,参与标准FL的私人数据,特别是垂直案例,极有可能从培训梯度中泄漏。我们的分析表明,这些学习环境中的空前和实际数据泄漏风险。我们的工作守则可在https://github.com/DeRafael/CAFEFE查阅。

1
下载
关闭预览

相关内容

鲁棒和隐私保护的协同学习
专知会员服务
35+阅读 · 2021年12月22日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
专知会员服务
116+阅读 · 2019年12月24日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
FedReID - 联邦学习在行人重识别上的首次深入实践
AI科技评论
5+阅读 · 2020年10月19日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
10+阅读 · 2021年3月30日
Asymmetrical Vertical Federated Learning
Arxiv
3+阅读 · 2020年6月11日
Arxiv
6+阅读 · 2018年12月10日
VIP会员
相关VIP内容
相关资讯
FedReID - 联邦学习在行人重识别上的首次深入实践
AI科技评论
5+阅读 · 2020年10月19日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员