In decentralized settings, the shuffle model of differential privacy has emerged as a promising alternative to the classical local model. Analyzing privacy amplification via shuffling is a critical component in both single-message and multi-message shuffle protocols. However, current methods used in these two areas are distinct and specific, making them less convenient for protocol designers and practitioners. In this work, we introduce variation-ratio reduction as a unified framework for privacy amplification analyses in the shuffle model. This framework utilizes total variation bounds of local messages and probability ratio bounds of other users' blanket messages, converting them to indistinguishable levels. Our results indicate that the framework yields tighter bounds for both single-message and multi-message encoders (e.g., with local DP, local metric DP, or general multi-message randomizers). Specifically, for a broad range of local randomizers having extremal probability design, our amplification bounds are precisely tight. We also demonstrate that variation-ratio reduction is well-suited for parallel composition in the shuffle model and results in stricter privacy accounting for common sampling-based local randomizers. Our experimental findings show that, compared to existing amplification bounds, our numerical amplification bounds can save up to $30\%$ of the budget for single-message protocols, $75\%$ of the budget for multi-message protocols, and $75\%$-$95\%$ of the budget for parallel composition. Additionally, our implementation for numerical amplification bounds has only $\tilde{O}(n)$ complexity and is highly efficient in practice, taking just $2$ minutes for $n=10^8$ users. The code for our implementation can be found at \url{https://github.com/wangsw/PrivacyAmplification}.


翻译:在分散的环境下,差分隐私的随机置换(shuffle)模型已成为经典本地模型的一个有前途的替代方案。在单个消息和多个消息的洗牌协议中分析隐私增幅是一个关键组成部分。然而,这两个领域中目前使用的方法是不同的和具体的,这使得协议设计者和实践者不太方便。在本文中,我们介绍了作为隐私增幅分析的一个统一框架——变化率降低方法。该框架利用本地消息的总变差界和其他用户的标注消息的概率比界,将它们转换为不可区分的水平。我们的结果表明,该框架给出了更严格的单个消息编码器和多个消息编码器(例如,具有本地DP、本地metric DP或一般的多个消息随机化器)增幅界。具体而言,对于广泛的本地随机类设计具有极端概率的随机器,我们的增幅界是严格的。我们还证明,变化率降低方法非常适合在随机置换(shuffle)模型中进行并行组合,并且有更严格的隐私核算规则来处理常见的基于采样的本地随机器。我们的实验结果表明,与现有的增幅界相比,我们的数值增幅界可以在单个消息协议中节省高达30%的预算,在多个消息协议中节省高达75%的预算,并且可以在并行组成时节省高达75%至95%的预算。此外,我们数值增幅界的实现只有$\tilde {O}(n)$的复杂度,在实践中非常高效,对于$n=10^8$的用户,只需要$2$分钟。我们的实现的代码可以在\url {https://github.com/wangsw/PrivacyAmplification}中找到。

0
下载
关闭预览

相关内容

【ICML2023】无消息传递的transformer图归纳偏差
专知会员服务
26+阅读 · 2023年6月1日
NeurIPS2022|基于解耦因果子结构学习的去偏差图神经网络
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
16+阅读 · 2022年7月31日
【NeurIPS2021】去栅格化的矢量图识别
专知会员服务
16+阅读 · 2021年11月18日
专知会员服务
82+阅读 · 2021年5月10日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
165+阅读 · 2020年3月18日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Github项目推荐 | GAN评估指标的Tensorflow简单实现
AI研习社
16+阅读 · 2019年4月19日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
13+阅读 · 2021年10月22日
Arxiv
11+阅读 · 2020年12月2日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Github项目推荐 | GAN评估指标的Tensorflow简单实现
AI研习社
16+阅读 · 2019年4月19日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员