会员服务
样本 · 离散化 · Batch Size · 计算学习理论 ·
1 月 17 日
Tight Group-Level DP Guarantees for DP-SGD with Sampling via Mixture of Gaussians Mechanisms
翻译：暂无翻译
Arun Ganesh
Arun Ganesh

We give a procedure for computing group-level $(\epsilon, \delta)$-DP guarantees for DP-SGD, when using Poisson sampling or fixed batch size sampling. Up to discretization errors in the implementation, the DP guarantees computed by this procedure are tight (assuming we release every intermediate iterate).


翻译：暂无翻译
0
下载
关闭预览

相关内容

【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
专知会员服务
44+阅读 · 2021年11月24日
UCM《机器学习导论笔记》，80页pdf CSE176 Introduction to Machine Learning
专知会员服务
30+阅读 · 2021年9月29日
【亚马逊-WWW2020】不解析,生成!用于面向任务的语义分析的序列到序列体系结构，Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
【亚马逊-WWW2020】不解析,生成!用于面向任务的语义分析的序列到序列体系结构，Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
专知会员服务
14+阅读 · 2020年2月1日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16（1）
From Softmax to Sparsemax-ICML16（1）
KingsGarden
72+阅读 · 2016年11月26日
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
Musielak-Orlicz-Sobolev 空间中的迹嵌入及其应用
国家自然科学基金
1+阅读 · 2015年12月31日
Volterra积分微分方程的多区间Chebyshev和Legendre谱配置法
国家自然科学基金
0+阅读 · 2015年12月31日
罗巴代数的表示和罗巴代数在operad中的应用
国家自然科学基金
0+阅读 · 2015年12月31日
复多项式的核拓扑熵
国家自然科学基金
0+阅读 · 2015年12月31日
Schr？dinger-Poisson方程守恒DDG方法研究
国家自然科学基金
1+阅读 · 2015年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
稳定广义有限元法的研究与若干典型工程应用
国家自然科学基金
0+阅读 · 2014年12月31日
Poisson流形上的修正Hamilton方法
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
Arxiv
0+阅读 · 3月2日
Representing Guardedness in Call-by-Value and Guarded Parametrized Monads
Arxiv
0+阅读 · 3月1日
The Complexity of Drawing Graphs on Few Lines and Few Planes
Arxiv
0+阅读 · 3月1日
Bridging the Sim-to-Real Gap with Dynamic Compliance Tuning for Industrial Insertion
Bridging the Sim-to-Real Gap with Dynamic Compliance Tuning for Industrial Insertion
Arxiv
0+阅读 · 3月1日
A Gradually Reinforced Sample-Average-Approximation Differentiable Homotopy Method for a System of Stochastic Equations
Arxiv
0+阅读 · 3月1日
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
Arxiv
0+阅读 · 2月29日
Time-Uniform Confidence Spheres for Means of Random Vectors
Arxiv
0+阅读 · 2月29日
A Survey of Knowledge-Enhanced Pre-trained Language Models
Arxiv
18+阅读 · 2022年11月17日
Multi-task Learning of Order-Consistent Causal Graphs
Arxiv
10+阅读 · 2021年11月3日
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
Arxiv
10+阅读 · 2018年8月29日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
样本
离散化
Batch Size
计算学习理论
相关VIP内容
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers
专知会员服务
44+阅读 · 2021年11月24日
UCM《机器学习导论笔记》，80页pdf CSE176 Introduction to Machine Learning
专知会员服务
30+阅读 · 2021年9月29日
【亚马逊-WWW2020】不解析,生成!用于面向任务的语义分析的序列到序列体系结构，Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
【亚马逊-WWW2020】不解析,生成!用于面向任务的语义分析的序列到序列体系结构，Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
专知会员服务
14+阅读 · 2020年2月1日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
34+阅读 · 2019年10月17日
Stabilizing Transformers for Reinforcement Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
56+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16（1）
From Softmax to Sparsemax-ICML16（1）
KingsGarden
72+阅读 · 2016年11月26日
相关论文
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
Arxiv
0+阅读 · 3月2日
Representing Guardedness in Call-by-Value and Guarded Parametrized Monads
Arxiv
0+阅读 · 3月1日
The Complexity of Drawing Graphs on Few Lines and Few Planes
Arxiv
0+阅读 · 3月1日
Bridging the Sim-to-Real Gap with Dynamic Compliance Tuning for Industrial Insertion
Bridging the Sim-to-Real Gap with Dynamic Compliance Tuning for Industrial Insertion
Arxiv
0+阅读 · 3月1日
A Gradually Reinforced Sample-Average-Approximation Differentiable Homotopy Method for a System of Stochastic Equations
Arxiv
0+阅读 · 3月1日
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
Arxiv
0+阅读 · 2月29日
Time-Uniform Confidence Spheres for Means of Random Vectors
Arxiv
0+阅读 · 2月29日
A Survey of Knowledge-Enhanced Pre-trained Language Models
Arxiv
18+阅读 · 2022年11月17日
Multi-task Learning of Order-Consistent Causal Graphs
Arxiv
10+阅读 · 2021年11月3日
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
Arxiv
10+阅读 · 2018年8月29日
相关基金
城市“建成环境——空间行为”的多尺度影响关系与机理研究
国家自然科学基金
10+阅读 · 2017年12月31日
Musielak-Orlicz-Sobolev 空间中的迹嵌入及其应用
国家自然科学基金
1+阅读 · 2015年12月31日
Volterra积分微分方程的多区间Chebyshev和Legendre谱配置法
国家自然科学基金
0+阅读 · 2015年12月31日
罗巴代数的表示和罗巴代数在operad中的应用
国家自然科学基金
0+阅读 · 2015年12月31日
复多项式的核拓扑熵
国家自然科学基金
0+阅读 · 2015年12月31日
Schr？dinger-Poisson方程守恒DDG方法研究
国家自然科学基金
1+阅读 · 2015年12月31日
动态Gr？bner 基与GVW算法
国家自然科学基金
0+阅读 · 2014年12月31日
稳定广义有限元法的研究与若干典型工程应用
国家自然科学基金
0+阅读 · 2014年12月31日
Poisson流形上的修正Hamilton方法
国家自然科学基金
0+阅读 · 2014年12月31日
海量Web用户生成内容物化关键技术
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员
Top