Federated Learning, as a popular paradigm for collaborative training, is vulnerable against privacy attacks. Different privacy levels regarding users' attitudes need to be satisfied locally, while a strict privacy guarantee for the global model is also required centrally. Personalized Local Differential Privacy (PLDP) is suitable for preserving users' varying local privacy, yet only provides a central privacy guarantee equivalent to the worst-case local privacy level. Thus, achieving strong central privacy as well as personalized local privacy with a utility-promising model is a challenging problem. In this work, a general framework (APES) is built up to strengthen model privacy under personalized local privacy by leveraging the privacy amplification effect of the shuffle model. To tighten the privacy bound, we quantify the heterogeneous contributions to the central privacy user by user. The contributions are characterized by the ability of generating "echos" from the perturbation of each user, which is carefully measured by proposed methods Neighbor Divergence and Clip-Laplace Mechanism. Furthermore, we propose a refined framework (S-APES) with the post-sparsification technique to reduce privacy loss in high-dimension scenarios. To the best of our knowledge, the impact of shuffling on personalized local privacy is considered for the first time. We provide a strong privacy amplification effect, and the bound is tighter than the baseline result based on existing methods for uniform local privacy. Experiments demonstrate that our frameworks ensure comparable or higher accuracy for the global model.


翻译:联邦学习作为一种流行的协作训练范式,容易受到隐私攻击。需要满足关于用户态度的不同隐私级别,同时在中心方面也需要严格的隐私保证。个性化本地差分隐私(PLDP)适合于保护用户不同的本地隐私,但仅提供与最差本地隐私级别相当的中心隐私保证。因此,在保证强中心隐私和个性化本地隐私的同时,需要实现具有实用性的模型。在本文中,我们建立了一个通用框架(APES),通过利用Shuffle模型的隐私扩增效应来加强模型隐私,从而满足个性化本地隐私保护。为了缩紧隐私界限,我们逐个用户量化了对中央隐私的异构贡献。这些贡献是通过从每个用户的扰动产生“回声”的能力进行特征化的,而这种能力可以通过提出的邻居分歧和Clip-Laplace机制进行仔细测量。此外,我们提出了一种优化后的框架(S-APES),采用后剪枝技术来减少高维场景中的隐私损失。据我们所知,对于个性化本地隐私,Shuffle模型的影响首次得到了考虑。我们提供了强隐私扩增效应,并且与现有的均匀本地隐私方法基准结果相比,边界更加紧密。实验表明,我们的框架确保了与全局模型相当或更高的准确性。

0
下载
关闭预览

相关内容

专知会员服务
35+阅读 · 2021年7月9日
专知会员服务
26+阅读 · 2021年2月2日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
基于对抗学习的隐私保护推荐算法
机器学习与推荐算法
0+阅读 · 2022年7月26日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
34+阅读 · 2020年6月3日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月28日
Arxiv
0+阅读 · 2023年5月25日
VIP会员
相关VIP内容
专知会员服务
35+阅读 · 2021年7月9日
专知会员服务
26+阅读 · 2021年2月2日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员