扩散模型的定制方法在仅需极少量用户提供图像的情况下已取得显著成果。然而,现有方法往往是对多个概念进行集体定制,而现实应用中则更常需要对概念进行顺序集成。这种顺序性可能导致灾难性遗忘,即先前学习的概念被遗忘。本文研究了在持续定制过程中出现的概念遗忘与概念混淆问题。为应对这些挑战,我们提出了ConceptGuard,一种综合性方法,结合了偏移嵌入(shift embedding)概念绑定提示词(concept-binding prompts)记忆保持正则化(memory preservation regularization),并引入了一个优先队列,用于自适应地更新不同概念的重要性与出现顺序。上述策略能够动态地更新、解绑并学习先前概念之间的关系,从而缓解概念遗忘与混淆问题。通过全面的实验,我们表明所提方法在定量和定性分析中均显著且持续优于所有基线方法。

成为VIP会员查看完整内容
5

相关内容

【TPAMI2024】增强视频-语言表示的结构时空对齐方法
专知会员服务
24+阅读 · 2024年6月30日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
21+阅读 · 2023年5月10日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
16+阅读 · 2021年7月7日
专知会员服务
21+阅读 · 2021年4月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
166+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
452+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
166+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【TPAMI2024】增强视频-语言表示的结构时空对齐方法
专知会员服务
24+阅读 · 2024年6月30日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
21+阅读 · 2023年5月10日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
16+阅读 · 2021年7月7日
专知会员服务
21+阅读 · 2021年4月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
相关基金
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员