会员服务
CVPR 2022 · 视觉Transformer · 联邦学习 · 梯度泄露攻击 · 隐私攻击 ·
2022 年 3 月 19 日
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

联邦学习作为一种数据隔绝的分布式训练框架能够避免数据隐私的直接泄露。然而，梯度泄露攻击 (gradient leakage)作为一种隐私攻击方法，能够从卷积神经网络或全连接网络的梯度中恢复数据的隐私信息。论文面向基于注意力机制的模型结构，分析了注意力模块固有的隐私缺陷，提出了针对注意力模块的闭式解攻击和针对Transformer的基于优化的隐私攻击方法APRIL。APRIL相比于已有的攻击方法能够在基于注意力结构的模型上获得更好的隐私攻击效果。论文还提出了针对APRIL攻击的防御手段，为面向隐私保护的模型结构设计提供了启发。

作者：Jiahao Lu, Xi Sheryl Zhang. Tianli Zhao, Xiangyu He, Jian Cheng

成为VIP会员查看完整内容
【CVPR 2022】APRIL：寻找视觉Transformer隐私泄露的关键弱点，APRIL: Finding the Achilles' Heel on Privacy Leakage for Vision Transformers
5

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR 2022】基于灵活模态Transformer的人脸防伪 FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing
【CVPR 2022】基于灵活模态Transformer的人脸防伪 FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing
专知会员服务
16+阅读 · 2022年3月19日
【CVPR 2022】AME：超参数优化中的注意力和记忆增强，AME: Attention and Memory Enhancement in Hyper-Parameter Optimization
【CVPR 2022】AME：超参数优化中的注意力和记忆增强，AME: Attention and Memory Enhancement in Hyper-Parameter Optimization
专知会员服务
10+阅读 · 2022年3月19日
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
专知会员服务
16+阅读 · 2022年3月19日
【CVPR 2022】提出一种基于Shapley value的ShapPruning后门去除算法，Few-shot Backdoor Defense Using Shapley Estimation
【CVPR 2022】提出一种基于Shapley value的ShapPruning后门去除算法，Few-shot Backdoor Defense Using Shapley Estimation
专知会员服务
6+阅读 · 2022年3月12日
UCL最新「机器学习隐私」综述论文，概述隐私挑战
UCL最新「机器学习隐私」综述论文，概述隐私挑战
专知会员服务
36+阅读 · 2021年7月11日
联邦学习安全与隐私保护综述
专知会员服务
111+阅读 · 2020年11月16日
联邦学习安全与隐私保护研究综述
专知会员服务
123+阅读 · 2020年8月7日
机器学习隐私综述论文，An Overview of Privacy in Machine Learning
机器学习隐私综述论文，An Overview of Privacy in Machine Learning
专知会员服务
79+阅读 · 2020年5月20日
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
专知会员服务
78+阅读 · 2020年3月19日
【AAAI2020论文】隐私保留GBDT（Privacy-Preserving Gradient Boosting Decision Trees）
【AAAI2020论文】隐私保留GBDT（Privacy-Preserving Gradient Boosting Decision Trees）
专知会员服务
33+阅读 · 2019年11月15日
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
机器之心
4+阅读 · 2022年4月10日
CVPR 2022｜快手联合中科院自动化所提出基于Transformer的图像风格化方法
CVPR 2022｜快手联合中科院自动化所提出基于Transformer的图像风格化方法
机器之心
1+阅读 · 2022年4月5日
「联邦学习隐私保护 」最新2022研究综述
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
ICLR 2022 | 首次实现用MLP做检测和分割！上科大和腾讯开源AS-MLP：一种轴向位移的MLP框架
ICLR 2022 | 首次实现用MLP做检测和分割！上科大和腾讯开源AS-MLP：一种轴向位移的MLP框架
极市平台
1+阅读 · 2022年2月13日
VALSE 论文速览 第49期：基于对抗身份掩膜的人脸加密方法实现隐私保护
VALSE 论文速览 第49期：基于对抗身份掩膜的人脸加密方法实现隐私保护
VALSE
2+阅读 · 2022年2月11日
Transformer已成新霸主？FAIR等重新设计纯卷积ConvNet，性能反超
Transformer已成新霸主？FAIR等重新设计纯卷积ConvNet，性能反超
机器之心
1+阅读 · 2022年1月12日
Pale Transformer：新视觉ViT主干
Pale Transformer：新视觉ViT主干
CVer
0+阅读 · 2022年1月2日
CNN、Transformer、MLP架构的经验性分析
CNN、Transformer、MLP架构的经验性分析
极市平台
0+阅读 · 2022年1月1日
《鲁棒和隐私保护的协同学习》综述论文
《鲁棒和隐私保护的协同学习》综述论文
专知
4+阅读 · 2021年12月22日
单一ViT模型执行多模态多任务，谷歌用协同训练策略实现多个SOTA
单一ViT模型执行多模态多任务，谷歌用协同训练策略实现多个SOTA
机器之心
1+阅读 · 2021年12月21日
面向时空特性的社交网络推演攻击与隐私保护关键技术研究
国家自然科学基金
3+阅读 · 2015年12月31日
面向云计算平台的数据安全与隐私保护关键技术研究
国家自然科学基金
5+阅读 · 2014年12月31日
云存储中隐私保护密文数据检索算法的研究
国家自然科学基金
0+阅读 · 2014年12月31日
大规模在线社会网络社区发现及隐私保护研究
国家自然科学基金
1+阅读 · 2014年12月31日
高性能网络隐私泄露行为检测方法和体系结构研究
国家自然科学基金
0+阅读 · 2013年12月31日
融合大规模BSN的社区发现及隐私保护关键问题研究
国家自然科学基金
0+阅读 · 2012年12月31日
下一代互联网DDoS防御关键技术研究
国家自然科学基金
1+阅读 · 2012年12月31日
体域网中基于压缩感知的生物信号压缩采样及数据压缩研究
国家自然科学基金
0+阅读 · 2011年12月31日
物联网隐私保护安全关键技术研究
国家自然科学基金
9+阅读 · 2011年12月31日
基于信任和策略的普适计算隐私保护技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
Detecting Unintended Memorization in Language-Model-Fused ASR
Detecting Unintended Memorization in Language-Model-Fused ASR
Arxiv
0+阅读 · 2022年4月20日
You Are What You Write: Preserving Privacy in the Era of Large Language Models
You Are What You Write: Preserving Privacy in the Era of Large Language Models
Arxiv
0+阅读 · 2022年4月20日
The Danger of Small Anonymity Sets in Privacy-Preserving Payment Systems
Arxiv
0+阅读 · 2022年4月20日
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
Arxiv
0+阅读 · 2022年4月19日
Estimation of the tail index of Pareto-type distributions using regularisation
Arxiv
0+阅读 · 2022年4月18日
PrivateRec: Differentially Private Training and Serving for Federated News Recommendation
Arxiv
0+阅读 · 2022年4月18日
SkillNet: A Sparsely Activated Model for General-Purpose Natural Language Understanding
Arxiv
0+阅读 · 2022年4月18日
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
Arxiv
0+阅读 · 2022年4月16日
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models
Arxiv
1+阅读 · 2022年4月15日
Text Revision by On-the-Fly Representation Optimization
Arxiv
0+阅读 · 2022年4月15日
VIP会员
相关主题
CVPR 2022
视觉Transformer
联邦学习
梯度泄露攻击
隐私攻击
相关VIP内容
【CVPR 2022】基于灵活模态Transformer的人脸防伪 FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing
【CVPR 2022】基于灵活模态Transformer的人脸防伪 FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing
专知会员服务
16+阅读 · 2022年3月19日
【CVPR 2022】AME：超参数优化中的注意力和记忆增强，AME: Attention and Memory Enhancement in Hyper-Parameter Optimization
【CVPR 2022】AME：超参数优化中的注意力和记忆增强，AME: Attention and Memory Enhancement in Hyper-Parameter Optimization
专知会员服务
10+阅读 · 2022年3月19日
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
【CVPR 2022】基于本地正则化和稀疏化差分隐私的联邦学习，Differentially Private Federated Learning with Local Regularization and Sparsification
专知会员服务
16+阅读 · 2022年3月19日
【CVPR 2022】提出一种基于Shapley value的ShapPruning后门去除算法，Few-shot Backdoor Defense Using Shapley Estimation
【CVPR 2022】提出一种基于Shapley value的ShapPruning后门去除算法，Few-shot Backdoor Defense Using Shapley Estimation
专知会员服务
6+阅读 · 2022年3月12日
UCL最新「机器学习隐私」综述论文，概述隐私挑战
UCL最新「机器学习隐私」综述论文，概述隐私挑战
专知会员服务
36+阅读 · 2021年7月11日
联邦学习安全与隐私保护综述
专知会员服务
111+阅读 · 2020年11月16日
联邦学习安全与隐私保护研究综述
专知会员服务
123+阅读 · 2020年8月7日
机器学习隐私综述论文，An Overview of Privacy in Machine Learning
机器学习隐私综述论文，An Overview of Privacy in Machine Learning
专知会员服务
79+阅读 · 2020年5月20日
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
【论文推荐】联邦学习的个性化技术综述，Survey of Personalization Techniques for Federated Learning
专知会员服务
78+阅读 · 2020年3月19日
【AAAI2020论文】隐私保留GBDT（Privacy-Preserving Gradient Boosting Decision Trees）
【AAAI2020论文】隐私保留GBDT（Privacy-Preserving Gradient Boosting Decision Trees）
专知会员服务
33+阅读 · 2019年11月15日
热门VIP内容
相关资讯
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
机器之心
4+阅读 · 2022年4月10日
CVPR 2022｜快手联合中科院自动化所提出基于Transformer的图像风格化方法
CVPR 2022｜快手联合中科院自动化所提出基于Transformer的图像风格化方法
机器之心
1+阅读 · 2022年4月5日
「联邦学习隐私保护 」最新2022研究综述
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
ICLR 2022 | 首次实现用MLP做检测和分割！上科大和腾讯开源AS-MLP：一种轴向位移的MLP框架
ICLR 2022 | 首次实现用MLP做检测和分割！上科大和腾讯开源AS-MLP：一种轴向位移的MLP框架
极市平台
1+阅读 · 2022年2月13日
VALSE 论文速览 第49期：基于对抗身份掩膜的人脸加密方法实现隐私保护
VALSE 论文速览 第49期：基于对抗身份掩膜的人脸加密方法实现隐私保护
VALSE
2+阅读 · 2022年2月11日
Transformer已成新霸主？FAIR等重新设计纯卷积ConvNet，性能反超
Transformer已成新霸主？FAIR等重新设计纯卷积ConvNet，性能反超
机器之心
1+阅读 · 2022年1月12日
Pale Transformer：新视觉ViT主干
Pale Transformer：新视觉ViT主干
CVer
0+阅读 · 2022年1月2日
CNN、Transformer、MLP架构的经验性分析
CNN、Transformer、MLP架构的经验性分析
极市平台
0+阅读 · 2022年1月1日
《鲁棒和隐私保护的协同学习》综述论文
《鲁棒和隐私保护的协同学习》综述论文
专知
4+阅读 · 2021年12月22日
单一ViT模型执行多模态多任务，谷歌用协同训练策略实现多个SOTA
单一ViT模型执行多模态多任务，谷歌用协同训练策略实现多个SOTA
机器之心
1+阅读 · 2021年12月21日
相关基金
面向时空特性的社交网络推演攻击与隐私保护关键技术研究
国家自然科学基金
3+阅读 · 2015年12月31日
面向云计算平台的数据安全与隐私保护关键技术研究
国家自然科学基金
5+阅读 · 2014年12月31日
云存储中隐私保护密文数据检索算法的研究
国家自然科学基金
0+阅读 · 2014年12月31日
大规模在线社会网络社区发现及隐私保护研究
国家自然科学基金
1+阅读 · 2014年12月31日
高性能网络隐私泄露行为检测方法和体系结构研究
国家自然科学基金
0+阅读 · 2013年12月31日
融合大规模BSN的社区发现及隐私保护关键问题研究
国家自然科学基金
0+阅读 · 2012年12月31日
下一代互联网DDoS防御关键技术研究
国家自然科学基金
1+阅读 · 2012年12月31日
体域网中基于压缩感知的生物信号压缩采样及数据压缩研究
国家自然科学基金
0+阅读 · 2011年12月31日
物联网隐私保护安全关键技术研究
国家自然科学基金
9+阅读 · 2011年12月31日
基于信任和策略的普适计算隐私保护技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Detecting Unintended Memorization in Language-Model-Fused ASR
Detecting Unintended Memorization in Language-Model-Fused ASR
Arxiv
0+阅读 · 2022年4月20日
You Are What You Write: Preserving Privacy in the Era of Large Language Models
You Are What You Write: Preserving Privacy in the Era of Large Language Models
Arxiv
0+阅读 · 2022年4月20日
The Danger of Small Anonymity Sets in Privacy-Preserving Payment Systems
Arxiv
0+阅读 · 2022年4月20日
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
Arxiv
0+阅读 · 2022年4月19日
Estimation of the tail index of Pareto-type distributions using regularisation
Arxiv
0+阅读 · 2022年4月18日
PrivateRec: Differentially Private Training and Serving for Federated News Recommendation
Arxiv
0+阅读 · 2022年4月18日
SkillNet: A Sparsely Activated Model for General-Purpose Natural Language Understanding
Arxiv
0+阅读 · 2022年4月18日
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
Arxiv
0+阅读 · 2022年4月16日
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models
Arxiv
1+阅读 · 2022年4月15日
Text Revision by On-the-Fly Representation Optimization
Arxiv
0+阅读 · 2022年4月15日
微信扫码咨询专知VIP会员
Top