会员服务
CVPR 2022 · 联邦学习 · 差分隐私 · 用户级差分隐私 · 中科院自动化所 ·
2022 年 3 月 19 日
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

用户级差分隐私能够为联邦学习中任一用户的数据提供可认证的隐私保证。然而，现有的确保用户级差分隐私的方法都以严重损害模型精度为代价。论文研究了造成这种损害的原因，发现解决这个问题的关键是在执行保证差分隐私的操作之前，自然地限制本地权重更新的范数。基于这一观察，论文提出了有界局部更新正则化和局部更新稀疏化两种技术，以达到在不牺牲隐私的前提下提高模型精度的目标，对框架的收敛性和隐私性进行了理论分析。大量的实验表明，该框架显著地改善了隐私与精度之间的权衡。

作者：Anda Cheng, Peisong Wang, Xi Sheryl Zhang, Jian Cheng

成为VIP会员查看完整内容
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
16

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
专知会员服务
5+阅读 · 2022年3月19日
【CVPR 2022】可控图像合成与编辑的合成生成先验学习，SemanticStyleGAN: Learning Compositonal Generative Priors for Controllable Image Synthesis and Editing
【CVPR 2022】可控图像合成与编辑的合成生成先验学习，SemanticStyleGAN: Learning Compositonal Generative Priors for Controllable Image Synthesis and Editing
专知会员服务
22+阅读 · 2022年3月3日
【ICLR2021】基于动态正则化的联邦学习
专知会员服务
41+阅读 · 2021年1月18日
最新《联邦学习Federated Learning》报告，Federated Learning
最新《联邦学习Federated Learning》报告，Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
专知会员服务
76+阅读 · 2020年6月28日
【北京大学】Locally Differentially Private (Contextual) Bandits Learning
【北京大学】Locally Differentially Private (Contextual) Bandits Learning
专知会员服务
12+阅读 · 2020年6月8日
近期必读的6篇顶会WWW 2020【迁移学习（Transfer Learning）】相关论文
近期必读的6篇顶会WWW 2020【迁移学习（Transfer Learning）】相关论文
专知会员服务
74+阅读 · 2020年4月29日
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
专知会员服务
78+阅读 · 2020年3月19日
【综述】联邦学习的威胁，Threats to Federated Learning: A Survey
【综述】联邦学习的威胁，Threats to Federated Learning: A Survey
专知会员服务
79+阅读 · 2020年3月4日
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
专知会员服务
87+阅读 · 2020年2月28日
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
机器之心
4+阅读 · 2022年4月10日
统计视角下的差分隐私：Differential Privacy from a Statistic View
统计视角下的差分隐私：Differential Privacy from a Statistic View
PaperWeekly
4+阅读 · 2022年2月10日
《鲁棒和隐私保护的协同学习》综述论文
《鲁棒和隐私保护的协同学习》综述论文
专知
4+阅读 · 2021年12月22日
Arxiv'21 | Graph Federated Learning
Arxiv'21 | Graph Federated Learning
图与推荐
0+阅读 · 2021年11月17日
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
图与推荐
3+阅读 · 2021年10月29日
最新《联邦学习Federated Learning》报告，47页ppt
最新《联邦学习Federated Learning》报告，47页ppt
专知
44+阅读 · 2020年12月2日
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
专知
26+阅读 · 2020年7月3日
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知
19+阅读 · 2020年6月30日
联邦学习最新研究趋势！
联邦学习最新研究趋势！
AI科技评论
52+阅读 · 2020年3月12日
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
专知
20+阅读 · 2020年2月28日
非局部Schrödinger方程的高效守恒算法
国家自然科学基金
0+阅读 · 2015年12月31日
云存储中隐私保护密文数据检索算法的研究
国家自然科学基金
0+阅读 · 2014年12月31日
分布式存储系统中数据再生的磁盘读写开销优化研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于Exemplar-Classifier思想的高分辨率光学遥感影像目标识别研究
国家自然科学基金
2+阅读 · 2013年12月31日
深度相机下基于全局-局部协作模型的视觉目标跟踪研究
国家自然科学基金
0+阅读 · 2013年12月31日
绿色数据中心的能耗管理关键问题研究
国家自然科学基金
2+阅读 · 2013年12月31日
差分隐私保护关键技术研究
国家自然科学基金
2+阅读 · 2012年12月31日
基于分形与数据流挖掘技术的动态数据挖掘方法及其应用研究
国家自然科学基金
1+阅读 · 2012年12月31日
面向隐私保护的分布式数据挖掘关键问题研究
国家自然科学基金
0+阅读 · 2010年12月31日
基于隐私保护的分布式数据流异常检测模型融合研究
国家自然科学基金
1+阅读 · 2009年12月31日
Differentially Private Transferrable Deep Learning with Membership-Mappings
Differentially Private Transferrable Deep Learning with Membership-Mappings
Arxiv
0+阅读 · 2022年4月20日
Is Non-IID Data a Threat in Federated Online Learning to Rank?
Arxiv
0+阅读 · 2022年4月20日
PrivateRec: Differentially Private Training and Serving for Federated News Recommendation
Arxiv
0+阅读 · 2022年4月18日
Self-Aware Personalized Federated Learning
Arxiv
0+阅读 · 2022年4月17日
SASG: Sparsification with Adaptive Stochastic Gradients for Communication-efficient Distributed Learning
Arxiv
0+阅读 · 2022年4月17日
On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates
Arxiv
0+阅读 · 2022年4月16日
Server Free Wireless Federated Learning: Architecture, Algorithm, and Analysis
Arxiv
0+阅读 · 2022年4月15日
Enforcing fairness in private federated learning via the modified method of differential multipliers
Enforcing fairness in private federated learning via the modified method of differential multipliers
Arxiv
0+阅读 · 2022年4月15日
Personalized Cross-Silo Federated Learning on Non-IID Data
Personalized Cross-Silo Federated Learning on Non-IID Data
Arxiv
10+阅读 · 2021年1月7日
Hierarchical Graph Representation Learning with Differentiable Pooling
Hierarchical Graph Representation Learning with Differentiable Pooling
Arxiv
13+阅读 · 2018年6月26日
VIP会员
相关主题
CVPR 2022
联邦学习
差分隐私
用户级差分隐私
中科院自动化所
相关VIP内容
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
专知会员服务
5+阅读 · 2022年3月19日
【CVPR 2022】可控图像合成与编辑的合成生成先验学习，SemanticStyleGAN: Learning Compositonal Generative Priors for Controllable Image Synthesis and Editing
【CVPR 2022】可控图像合成与编辑的合成生成先验学习，SemanticStyleGAN: Learning Compositonal Generative Priors for Controllable Image Synthesis and Editing
专知会员服务
22+阅读 · 2022年3月3日
【ICLR2021】基于动态正则化的联邦学习
专知会员服务
41+阅读 · 2021年1月18日
最新《联邦学习Federated Learning》报告，Federated Learning
最新《联邦学习Federated Learning》报告，Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
专知会员服务
76+阅读 · 2020年6月28日
【北京大学】Locally Differentially Private (Contextual) Bandits Learning
【北京大学】Locally Differentially Private (Contextual) Bandits Learning
专知会员服务
12+阅读 · 2020年6月8日
近期必读的6篇顶会WWW 2020【迁移学习（Transfer Learning）】相关论文
近期必读的6篇顶会WWW 2020【迁移学习（Transfer Learning）】相关论文
专知会员服务
74+阅读 · 2020年4月29日
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
专知会员服务
78+阅读 · 2020年3月19日
【综述】联邦学习的威胁，Threats to Federated Learning: A Survey
【综述】联邦学习的威胁，Threats to Federated Learning: A Survey
专知会员服务
79+阅读 · 2020年3月4日
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
专知会员服务
87+阅读 · 2020年2月28日
热门VIP内容
相关资讯
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
机器之心
4+阅读 · 2022年4月10日
统计视角下的差分隐私：Differential Privacy from a Statistic View
统计视角下的差分隐私：Differential Privacy from a Statistic View
PaperWeekly
4+阅读 · 2022年2月10日
《鲁棒和隐私保护的协同学习》综述论文
《鲁棒和隐私保护的协同学习》综述论文
专知
4+阅读 · 2021年12月22日
Arxiv'21 | Graph Federated Learning
Arxiv'21 | Graph Federated Learning
图与推荐
0+阅读 · 2021年11月17日
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
图与推荐
3+阅读 · 2021年10月29日
最新《联邦学习Federated Learning》报告，47页ppt
最新《联邦学习Federated Learning》报告，47页ppt
专知
44+阅读 · 2020年12月2日
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
【ICML2020】拉普拉斯正则化小样本学习，Laplacian Regularized Few-Shot Learning
专知
26+阅读 · 2020年7月3日
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知
19+阅读 · 2020年6月30日
联邦学习最新研究趋势！
联邦学习最新研究趋势！
AI科技评论
52+阅读 · 2020年3月12日
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
【香港科技大学】联邦半监督学习综述，A Survey on Federated Semi-supervised Learning
专知
20+阅读 · 2020年2月28日
相关基金
非局部Schrödinger方程的高效守恒算法
国家自然科学基金
0+阅读 · 2015年12月31日
云存储中隐私保护密文数据检索算法的研究
国家自然科学基金
0+阅读 · 2014年12月31日
分布式存储系统中数据再生的磁盘读写开销优化研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于Exemplar-Classifier思想的高分辨率光学遥感影像目标识别研究
国家自然科学基金
2+阅读 · 2013年12月31日
深度相机下基于全局-局部协作模型的视觉目标跟踪研究
国家自然科学基金
0+阅读 · 2013年12月31日
绿色数据中心的能耗管理关键问题研究
国家自然科学基金
2+阅读 · 2013年12月31日
差分隐私保护关键技术研究
国家自然科学基金
2+阅读 · 2012年12月31日
基于分形与数据流挖掘技术的动态数据挖掘方法及其应用研究
国家自然科学基金
1+阅读 · 2012年12月31日
面向隐私保护的分布式数据挖掘关键问题研究
国家自然科学基金
0+阅读 · 2010年12月31日
基于隐私保护的分布式数据流异常检测模型融合研究
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Differentially Private Transferrable Deep Learning with Membership-Mappings
Differentially Private Transferrable Deep Learning with Membership-Mappings
Arxiv
0+阅读 · 2022年4月20日
Is Non-IID Data a Threat in Federated Online Learning to Rank?
Arxiv
0+阅读 · 2022年4月20日
PrivateRec: Differentially Private Training and Serving for Federated News Recommendation
Arxiv
0+阅读 · 2022年4月18日
Self-Aware Personalized Federated Learning
Arxiv
0+阅读 · 2022年4月17日
SASG: Sparsification with Adaptive Stochastic Gradients for Communication-efficient Distributed Learning
Arxiv
0+阅读 · 2022年4月17日
On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates
Arxiv
0+阅读 · 2022年4月16日
Server Free Wireless Federated Learning: Architecture, Algorithm, and Analysis
Arxiv
0+阅读 · 2022年4月15日
Enforcing fairness in private federated learning via the modified method of differential multipliers
Enforcing fairness in private federated learning via the modified method of differential multipliers
Arxiv
0+阅读 · 2022年4月15日
Personalized Cross-Silo Federated Learning on Non-IID Data
Personalized Cross-Silo Federated Learning on Non-IID Data
Arxiv
10+阅读 · 2021年1月7日
Hierarchical Graph Representation Learning with Differentiable Pooling
Hierarchical Graph Representation Learning with Differentiable Pooling
Arxiv
13+阅读 · 2018年6月26日
微信扫码咨询专知VIP会员
Top