视觉-语言预训练模型(VLP)在语义理解方面的提升,使得保护公开发布图像不被搜索引擎等工具滥用变得愈发困难。在此背景下,本文尝试通过在图像压缩阶段引入防护机制,以防止图像被滥用,从而保护用户隐私。具体而言,我们提出了一种灵活的编码方法,称为隐私防护图像压缩(Privacy-Shielded Image Compression,PSIC),该方法能够生成具有多种解码选项的比特流。默认情况下,该比特流可解码为感知质量良好的图像,同时阻止视觉-语言预训练模型对其进行语义理解。

此外,该方法仍保留了原有的图像压缩功能。在提供可定制的输入条件下,PSIC 可重建保留完整语义信息的图像。我们提出了一个条件潜变量触发生成(Conditional Latent Trigger Generation,CLTG)模块,用于根据定制条件生成偏置信息,引导解码过程生成不同的图像版本。同时,我们设计了一个不确定性感知的加密优化函数(Uncertainty-Aware Encryption-Oriented,UAEO),通过利用目标 VLP 模型对训练数据的不确定性推断出的软标签,来提升对抗能力。

为同时兼顾图像的加密性能与感知质量,本文还引入了一种自适应多目标优化策略,可在统一的训练过程中实现二者的协同优化。所提出的方法具有即插即用的特性,可无缝集成至大多数现有的学习型图像压缩(Learned Image Compression,LIC)模型中。大量实验结果表明,该方法在多个下游任务中均表现出色,有效验证了其设计的有效性。

成为VIP会员查看完整内容
1

相关内容

【ICML2024】离散提示优化扩散模型
专知会员服务
20+阅读 · 2024年7月4日
【CVPR2024】VideoMAC: 视频掩码自编码器与卷积神经网络
专知会员服务
17+阅读 · 2024年3月4日
【WWW2024】元认知检索-增强大型语言模型
专知会员服务
50+阅读 · 2024年2月26日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
基于深度学习的文本生成【附217页PPT下载】
专知
35+阅读 · 2018年11月24日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
467+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
169+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员