Score-based (denoising diffusion) generative models have recently gained a lot of success in generating realistic and diverse data. These approaches define a forward diffusion process for transforming data to noise and generate data by reversing it (thereby going from noise to data). Unfortunately, current score-based models generate data very slowly due to the sheer number of score network evaluations required by numerical SDE solvers. In this work, we aim to accelerate this process by devising a more efficient SDE solver. Existing approaches rely on the Euler-Maruyama (EM) solver, which uses a fixed step size. We found that naively replacing it with other SDE solvers fares poorly - they either result in low-quality samples or become slower than EM. To get around this issue, we carefully devise an SDE solver with adaptive step sizes tailored to score-based generative models piece by piece. Our solver requires only two score function evaluations, rarely rejects samples, and leads to high-quality samples. Our approach generates data 2 to 10 times faster than EM while achieving better or equal sample quality. For high-resolution images, our method leads to significantly higher quality samples than all other methods tested. Our SDE solver has the benefit of requiring no step size tuning.


翻译:基于分数(减少传播)的基因化模型最近在生成现实和多样化数据方面取得了许多成功。这些方法界定了将数据转化为噪音并通过逆转数据(从噪音到数据)生成数据的一个前方扩散过程。不幸的是,由于数字SDE解答器要求的分数网络评价数量之多,目前的分数模型生成的数据非常缓慢。在这项工作中,我们的目标是通过设计一个效率更高的SDE求解器来加快这一进程。现有方法依赖于使用固定步数大小的Euler-Maruyama(EM)求解器。我们发现,用其他SDE解答器取代数据时,天真地取代数据的过程差,要么导致低质量样本,要么比EM慢。为了绕过这个问题,我们仔细设计了一个适应性步数的SDE求解答器。我们的解答器只需要两个分数函数评价,很少拒绝样本,并导致高质量的样本。我们的方法比EM更快2到10倍的数据,同时取得更好的或同等的样数质量。对于高分辨率图像来说,我们的方法不会导致大大提高质量的样本。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
13+阅读 · 2019年9月18日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
一文教你如何用PyTorch构建 Faster RCNN
AI研习社
3+阅读 · 2019年2月7日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
Arxiv
0+阅读 · 2021年8月6日
Using Scene Graph Context to Improve Image Generation
FIGR: Few-shot Image Generation with Reptile
Arxiv
5+阅读 · 2019年1月8日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Phrase-Based & Neural Unsupervised Machine Translation
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关资讯
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
13+阅读 · 2019年9月18日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
一文教你如何用PyTorch构建 Faster RCNN
AI研习社
3+阅读 · 2019年2月7日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
相关论文
Top
微信扫码咨询专知VIP会员