扩散模型在各种生成应用中已展现出卓越的效果。尽管现有模型关注于最小化用于数据分布建模的去噪分数匹配损失的加权和,它们的训练主要强调实例级优化,忽视了每个小批量中包含的有价值的结构信息,这些结构信息表明了样本间的成对关系。为了解决这一限制,我们引入了结构指导的扩散模型对抗训练(SADM)。在这种开创性的方法中,我们强制模型学习每个训练批次中样本间的流形结构。为了确保模型捕获数据分布中真实的流形结构,我们提倡在极小极大游戏中进行扩散生成器对抗一种新颖的结构鉴别器的训练,区分真实的流形结构和生成的流形结构。SADM在现有的扩散变换器上取得了显著改进,并在图像生成和跨域微调任务中跨越12个数据集超越现有方法,建立了新的最先进的FID,分别在256×256和512×512分辨率的类条件图像生成上达到了1.58和2.11。

https://www.zhuanzhi.ai/paper/49614b89be54dc8bf62027a494e32b5b

成为VIP会员查看完整内容
19

相关内容

【ICML2023】知识蒸馏对模型可解释性的影响
专知会员服务
34+阅读 · 2023年5月27日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
35+阅读 · 2021年6月3日
专知会员服务
38+阅读 · 2021年5月16日
专知会员服务
18+阅读 · 2020年10月13日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
129+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
319+阅读 · 2023年3月31日
Arxiv
53+阅读 · 2023年3月26日
Arxiv
111+阅读 · 2023年3月24日
Arxiv
14+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【ICML2023】知识蒸馏对模型可解释性的影响
专知会员服务
34+阅读 · 2023年5月27日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
35+阅读 · 2021年6月3日
专知会员服务
38+阅读 · 2021年5月16日
专知会员服务
18+阅读 · 2020年10月13日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员