Developing machine learning methods that are privacy preserving is today a central topic of research, with huge practical impacts. Among the numerous ways to address privacy-preserving learning, we here take the perspective of computing the divergences between distributions under the Differential Privacy (DP) framework -- being able to compute divergences between distributions is pivotal for many machine learning problems, such as learning generative models or domain adaptation problems. Instead of resorting to the popular gradient-based sanitization method for DP, we tackle the problem at its roots by focusing on the Sliced Wasserstein Distance and seamlessly making it differentially private. Our main contribution is as follows: we analyze the property of adding a Gaussian perturbation to the intrinsic randomized mechanism of the Sliced Wasserstein Distance, and we establish the sensitivityof the resulting differentially private mechanism. One of our important findings is that this DP mechanism transforms the Sliced Wasserstein distance into another distance, that we call the Smoothed Sliced Wasserstein Distance. This new differentially private distribution distance can be plugged into generative models and domain adaptation algorithms in a transparent way, and we empirically show that it yields highly competitive performance compared with gradient-based DP approaches from the literature, with almost no loss in accuracy for the domain adaptation problems that we consider.


翻译:隐私保护的机器教学方法的开发是当今研究的一个中心主题,具有巨大的实际影响。在解决隐私保护学习的众多方法中,我们在这里从以下角度出发,计算在差异隐私(DP)框架下的分布差异 -- -- 能够计算分配差异对于许多机器学习问题至关重要,例如学习基因模型或领域适应问题。我们没有为DP采用流行的基于梯度的消化方法,而是将这一问题从根源上解决,我们把注意力放在斯利切德·瓦瑟斯坦距离上,并且无缝地使其变得私人化。我们的主要贡献如下:我们分析在斯利切德·瓦瑟斯坦距离的内在随机化机制中增加一个高斯环绕的特性,我们确定由此产生的分配差异的敏感度,对于不同的私人机制,例如学习基因模型模型或领域适应问题。我们的一个重要发现,这种DP机制将斯利克特·瓦瑟斯坦距离转换为另一个距离,我们称之为滑度的斯利特·瓦瑟斯坦距离。这种新的私人分配差异性距离可以被插入到基因化模型和域内调。我们的主要贡献如下:我们分析如何在Slied Wasserstein refildalation commission compress,我们没有从一个透明化的方法中将它与具有高度的升级化,我们从一个比高等级化的指数化,我们从高分化的指数上将它与高度地研究。

0
下载
关闭预览

相关内容

神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
71+阅读 · 2020年8月2日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
6+阅读 · 2018年1月29日
VIP会员
相关资讯
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员