Markov chain Monte Carlo (MCMC) algorithms have long been the main workhorses of Bayesian inference. Among them, Hamiltonian Monte Carlo (HMC) has recently become very popular due to its efficiency resulting from effective use of the gradients of the target distribution. In privacy-preserving machine learning, differential privacy (DP) has become the gold standard in ensuring that the privacy of data subjects is not violated. Existing DP MCMC algorithms either use random-walk proposals, or do not use the Metropolis--Hastings (MH) acceptance test to ensure convergence without decreasing their step size to zero. We present a DP variant of HMC using the MH acceptance test that builds on a recently proposed DP MCMC algorithm called the penalty algorithm, and adds noise to the gradient evaluations of HMC. We prove that the resulting algorithm converges to the correct distribution, and is ergodic. We compare DP-HMC with the existing penalty, DP-SGLD and DP-SGNHT algorithms, and find that DP-HMC has better or equal performance than the penalty algorithm, and performs more consistently than DP-SGLD or DP-SGNHT.


翻译:在保护隐私的机器学习中,差异隐私已成为确保数据主体隐私不受侵犯的黄金标准;现有的DP MMC算法要么使用随机行走建议,要么不使用大都会-成交(MH)接受测试,以确保趋同,同时又不将其步步数减为零;我们利用最近提议的DP MMC算法(即惩罚算法)提出HMC接受测试的DP变式,该变式以最近提议的DP MMC算法(即惩罚算法)为基础,增加了对HMC的梯度评价的噪音;我们证明由此产生的算法与数据主体的隐私权不相违背,而且具有ergodic。我们把DP-HMC算法与现有的惩罚(DP-SGLD和DP-SGNHT算法)进行比较,发现DP-HMC比惩罚算法更好或平等,并且比DP-SGLD或DPSG-DD/DPGDD-DGD/DPGGGD)更一致地执行。

0
下载
关闭预览

相关内容

《图表示学习》报告,McGill助理教授Hamilton讲授,79页ppt
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
84+阅读 · 2020年12月5日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
R语言实现聚类kmeans
R语言中文社区
3+阅读 · 2019年2月14日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
已删除
将门创投
5+阅读 · 2018年2月28日
机器学习新手必看10大算法
深度学习世界
4+阅读 · 2018年2月1日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
VIP会员
相关VIP内容
《图表示学习》报告,McGill助理教授Hamilton讲授,79页ppt
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
84+阅读 · 2020年12月5日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
R语言实现聚类kmeans
R语言中文社区
3+阅读 · 2019年2月14日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
已删除
将门创投
5+阅读 · 2018年2月28日
机器学习新手必看10大算法
深度学习世界
4+阅读 · 2018年2月1日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Top
微信扫码咨询专知VIP会员