What is the information leakage of an iterative randomized learning algorithm about its training data, when the internal state of the algorithm is \emph{private}? How much is the contribution of each specific training epoch to the information leakage through the released model? We study this problem for noisy gradient descent algorithms, and model the \emph{dynamics} of R\'enyi differential privacy loss throughout the training process. Our analysis traces a provably \emph{tight} bound on the R\'enyi divergence between the pair of probability distributions over parameters of models trained on neighboring datasets. We prove that the privacy loss converges exponentially fast, for smooth and strongly convex loss functions, which is a significant improvement over composition theorems (which over-estimate the privacy loss by upper-bounding its total value over all intermediate gradient computations). For Lipschitz, smooth, and strongly convex loss functions, we prove optimal utility with a small gradient complexity for noisy gradient descent algorithms.


翻译:当算法的内部状态是 \ emph{ private} 时, 有关其培训数据的迭代随机学习算法的信息泄漏是什么? 每一个具体培训过程对通过发布模型泄漏信息有何贡献? 我们研究这个关于超音梯梯级下降算法的问题,并在整个培训过程中模拟R'enyi差异性隐私损失的模型。 我们的分析在R\ emph{ tight} 中发现了一个可以辨别的\ emph{ tight}, 围绕R\ enyi 之间的概率分布与在相邻数据集中培训模型参数之间的差异。 我们证明,对于光滑和强烈的 convex损失功能来说,隐私损失会快速地聚集在一起,这是对组成标的显著改进(通过所有中间梯度计算中高调总价值高估了隐私损失)。 对于Lipschitz, 光滑和强烈的convex损失函数,我们证明,对于噪音梯度梯度下降的精度复杂性是最佳的。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
5+阅读 · 2018年11月27日
Arxiv
0+阅读 · 2021年12月27日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
5+阅读 · 2018年11月27日
Top
微信扫码咨询专知VIP会员