Denoising diffusion probabilistic models (DDPMs) have achieved high quality image generation without adversarial training, yet they require simulating a Markov chain for many steps to produce a sample. To accelerate sampling, we present denoising diffusion implicit models (DDIMs), a more efficient class of iterative implicit probabilistic models with the same training procedure as DDPMs. In DDPMs, the generative process is defined as the reverse of a Markovian diffusion process. We construct a class of non-Markovian diffusion processes that lead to the same training objective, but whose reverse process can be much faster to sample from. We empirically demonstrate that DDIMs can produce high quality samples $10 \times$ to $50 \times$ faster in terms of wall-clock time compared to DDPMs, allow us to trade off computation for sample quality, and can perform semantically meaningful image interpolation directly in the latent space.


翻译:拒绝扩散概率模型(DDPMs)在没有对抗性培训的情况下实现了高质量的图像生成,但是它们需要模拟Markov链,以便采取许多步骤来制作样本。为了加速取样,我们展示了一个更高效的迭代隐含概率模型(DDIMs),这是与DDPMs相同的培训程序的一种更高效的迭代隐含概率模型。在DDPMs中,基因化过程被定义为马尔科维亚扩散过程的逆向。我们建造了一类非马尔科维亚扩散过程,它导致相同的培训目标,但其反向过程可以更快地从中取样。我们从经验上证明DDIMs可以产生高质量样本,10美元到50美元,比DDPMs速度更快,使我们能够交换样品质量的计算,并在潜层空间直接进行具有内涵意义的图像互划。

1
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年8月29日
专知会员服务
29+阅读 · 2021年8月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
126+阅读 · 2020年11月20日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
62+阅读 · 2020年5月25日
专知会员服务
61+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
已删除
将门创投
14+阅读 · 2019年5月29日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2019年11月14日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Learning Implicit Fields for Generative Shape Modeling
Arxiv
10+阅读 · 2018年12月6日
Arxiv
6+阅读 · 2018年11月29日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
4+阅读 · 2018年4月26日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年8月29日
专知会员服务
29+阅读 · 2021年8月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
126+阅读 · 2020年11月20日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
62+阅读 · 2020年5月25日
专知会员服务
61+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
已删除
将门创投
14+阅读 · 2019年5月29日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
6+阅读 · 2019年11月14日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Learning Implicit Fields for Generative Shape Modeling
Arxiv
10+阅读 · 2018年12月6日
Arxiv
6+阅读 · 2018年11月29日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
4+阅读 · 2018年4月26日
Top
微信扫码咨询专知VIP会员