We present a novel generative modeling method called diffusion normalizing flow based on stochastic differential equations (SDEs). The algorithm consists of two neural SDEs: a forward SDE that gradually adds noise to the data to transform the data into Gaussian random noise, and a backward SDE that gradually removes the noise to sample from the data distribution. By jointly training the two neural SDEs to minimize a common cost function that quantifies the difference between the two, the backward SDE converges to a diffusion process the starts with a Gaussian distribution and ends with the desired data distribution. Our method is closely related to normalizing flow and diffusion probabilistic models and can be viewed as a combination of the two. Compared with normalizing flow, diffusion normalizing flow is able to learn distributions with sharp boundaries. Compared with diffusion probabilistic models, diffusion normalizing flow requires fewer discretization steps and thus has better sampling efficiency. Our algorithm demonstrates competitive performance in both high-dimension data density estimation and image generation tasks.


翻译:我们提出了一个新型的基因模型方法,叫做基于随机差异方程式(SDEs)的传播正常流。算法包括两个神经SDEs:一个前方SDE,在数据中逐渐增加噪音,将数据转换成高斯随机噪音,另一个后方SDE,从数据分布中逐渐去除噪音,从数据分布中样本。通过联合培训两个神经SDEs,最大限度地减少共同成本功能,以量化二者之间的差异,后方SDEs将开始于高斯分布过程,结束于理想的数据分布。我们的方法与正常流和扩散概率模型密切相关,可被视为两者的组合。与正常流相比,扩散正常流能够以清晰的边界学习分布。与扩散概率模型相比,扩散正常流需要较少的离散步骤,从而具有更好的取样效率。我们的算法显示高倍化数据密度估计和图像生成任务具有竞争性性。

1
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
47+阅读 · 2021年4月24日
专知会员服务
50+阅读 · 2020年12月14日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
63+阅读 · 2020年12月11日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
Normalizing Flows入门(上)
AINLP
8+阅读 · 2020年8月1日
“CVPR 2020 接受论文列表 1470篇论文都在这了
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年12月3日
Arxiv
8+阅读 · 2018年3月17日
Arxiv
6+阅读 · 2018年3月12日
VIP会员
相关资讯
Normalizing Flows入门(上)
AINLP
8+阅读 · 2020年8月1日
“CVPR 2020 接受论文列表 1470篇论文都在这了
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员