Text-to-image diffusion models are nothing but a revolution, allowing anyone, even without design skills, to create realistic images from simple text inputs. With powerful personalization tools like DreamBooth, they can generate images of a specific person just by learning from his/her few reference images. However, when misused, such a powerful and convenient tool can produce fake news or disturbing content targeting any individual victim, posing a severe negative social impact. In this paper, we explore a defense system called Anti-DreamBooth against such malicious use of DreamBooth. The system aims to add subtle noise perturbation to each user's image before publishing in order to disrupt the generation quality of any DreamBooth model trained on these perturbed images. We investigate a wide range of algorithms for perturbation optimization and extensively evaluate them on two facial datasets over various text-to-image model versions. Despite the complicated formulation of DreamBooth and Diffusion-based text-to-image models, our methods effectively defend users from the malicious use of those models. Their effectiveness withstands even adverse conditions, such as model or prompt/term mismatching between training and testing. Our code will be available at \href{https://github.com/VinAIResearch/Anti-DreamBooth.git}{https://github.com/VinAIResearch/Anti-DreamBooth.git}.


翻译:文本到图像扩散模型是一种革命性的技术,使得任何人,甚至不具备设计技能的人,都可以通过简单的文本输入创建逼真的图像。有了像DreamBooth这样的强大的个性化工具,他们可以仅通过学习其少数参考图像就生成特定人物的图像。然而,当被滥用时,这样一个强大而方便的工具可能会产生虚假信息或针对任何个体受害者的令人不安内容,从而产生严重的负面社会影响。在本文中,我们探讨了一个名为Anti-DreamBooth的防御系统,来抵御DreamBooth的这种恶意使用。该系统旨在在所有用户的图像发布之前添加细微的噪音扰动,以破坏任何一个基于这些扰动图像训练的DreamBooth模型的生成质量。我们研究了一系列扰动优化算法,并在各种文本到图像模型版本下对两个面部数据集进行了广泛评估。尽管DreamBooth和基于扩散的文本到图像模型的公式十分复杂,但我们的方法有效地保护用户免于这些模型的恶意使用。它们的有效性即使在不利条件下也能够经受住考验,例如模型或训练测试之间的提示或术语不匹配。我们的代码将在\href{https://github.com/VinAIResearch/Anti-DreamBooth.git}{https://github.com/VinAIResearch/Anti-DreamBooth.git}上提供。

0
下载
关闭预览

相关内容

基于条件扩散模型的文本到图像合成, 32页ppt
专知会员服务
24+阅读 · 2022年11月21日
【MIT Sam Hopkins】如何读论文?How to Read a Paper
专知会员服务
105+阅读 · 2022年3月20日
AI可以绘制情感吗?看DALL-E如何表抽象
新智元
0+阅读 · 2022年8月17日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月15日
Arxiv
0+阅读 · 2023年5月13日
Arxiv
0+阅读 · 2023年5月12日
Arxiv
15+阅读 · 2021年7月14日
VIP会员
相关VIP内容
基于条件扩散模型的文本到图像合成, 32页ppt
专知会员服务
24+阅读 · 2022年11月21日
【MIT Sam Hopkins】如何读论文?How to Read a Paper
专知会员服务
105+阅读 · 2022年3月20日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员