【NeurIPS 2022】扩散模型的深度平衡方法

2022 年 11 月 6 日 专知

基于扩散的生成模型在生成高质量的图像方面非常有效,生成的样本在某些指标下常常超过其他模型生成的样本。然而,这些模型的一个显著特征是,它们通常需要很长的采样链来生成高保真图像。这不仅带来了采样时间的挑战,也带来了通过这些链反向传播的固有困难,以完成诸如模型反演等任务,即近似地找到生成已知图像的潜在状态。在本文中,我们从一个不同的角度来看待扩散模型,即一个(深度)平衡(DEQ)不动点模型。具体来说,我们扩展了最近的去噪扩散隐式模型(DDIM;Song et al. 2020),并将整个采样链建模为一个联合的多元不动点系统。这种设置提供了扩散模型和平衡模型的优雅统一,并显示出1)单幅图像采样的好处,因为它用并行采样过程取代了典型的全串行采样过程;2)模型反演,我们可以利用DEQ设置中的快速梯度,更快地找到生成给定图像的噪声。该方法也是正交的,因此与用于减少采样时间或改进模型反演的其他方法互补。我们在多个数据集上演示了我们的方法的强大性能,包括CIFAR10、CelebA和LSUN Bedrooms和Churches。

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DEAD” 就可以获取【NeurIPS 2022】扩散模型的深度平衡方法》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
0

相关内容

扩散模型是近年来快速发展并得到广泛关注的生成模型。它通过一系列的加噪和去噪过程,在复杂的图像分布和高斯分布之间建立联系,使得模型最终能将随机采样的高斯噪声逐步去噪得到一张图像。
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
深度对抗视觉生成综述
专知会员服务
32+阅读 · 2021年12月29日
【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成
专知会员服务
16+阅读 · 2021年10月23日
专知会员服务
53+阅读 · 2019年12月22日
「扩散模型」Awesome资料最新大合集
专知
3+阅读 · 2022年10月10日
【ICML2022】在线决策Transformer
专知
2+阅读 · 2022年7月27日
深度对抗视觉生成综述
专知
2+阅读 · 2021年12月29日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
17+阅读 · 2021年1月21日
Arxiv
12+阅读 · 2019年3月14日
Knowledge Representation Learning: A Quantitative Review
Arxiv
11+阅读 · 2018年4月25日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员