Diffusion models in the literature are optimized with various objectives that are special cases of a weighted loss, where the weighting function specifies the weight per noise level. Uniform weighting corresponds to maximizing the ELBO, a principled approximation of maximum likelihood. In current practice diffusion models are optimized with non-uniform weighting due to better results in terms of sample quality. In this work we expose a direct relationship between the weighted loss (with any weighting) and the ELBO objective. We show that the weighted loss can be written as a weighted integral of ELBOs, with one ELBO per noise level. If the weighting function is monotonic, then the weighted loss is a likelihood-based objective: it maximizes the ELBO under simple data augmentation, namely Gaussian noise perturbation. Our main contribution is a deeper theoretical understanding of the diffusion objective, but we also performed some experiments comparing monotonic with non-monotonic weightings, finding that monotonic weighting performs competitively with the best published results.


翻译:文献中的扩散模型是通过各种不同的目标函数进行优化的,其中加权函数指定每个噪声级别的权重。均匀加权对应于最大似然的有原则的近似ELBO的最大化。目前的做法是通过非均匀加权进行扩散模型优化,从而在样本质量方面获得更好的结果。本文揭示了加权损失(任意加权)和ELBO目标之间的直接关系。我们证明了加权损失可以被写成一组ELBO的加权积分,其中每个噪声级别都对应一个ELBO。如果加权函数是单调的,那么加权损失就是一种基于似然的优化目标:它在简单的数据增强下(即高斯噪声扰动)最大化ELBO。我们的主要贡献是更深入理解扩散目标的理论基础,同时我们还进行了一些实验比较单调和非单调的加权方式,发现单调加权的表现与最佳已发表结果相当。

0
下载
关闭预览

相关内容

专知会员服务
88+阅读 · 2021年6月29日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
生成扩散模型漫谈:统一扩散模型(理论篇)
PaperWeekly
1+阅读 · 2022年11月6日
生成扩散模型漫谈:一般框架之ODE篇
PaperWeekly
1+阅读 · 2022年9月1日
生成扩散模型漫谈:一般框架之SDE篇
PaperWeekly
0+阅读 · 2022年8月14日
深度解析:什么是Diffusion Model?
PaperWeekly
5+阅读 · 2022年7月26日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Self-Attention GAN 中的 self-attention 机制
PaperWeekly
12+阅读 · 2019年3月6日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
14+阅读 · 2022年8月25日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
VIP会员
相关资讯
生成扩散模型漫谈:统一扩散模型(理论篇)
PaperWeekly
1+阅读 · 2022年11月6日
生成扩散模型漫谈:一般框架之ODE篇
PaperWeekly
1+阅读 · 2022年9月1日
生成扩散模型漫谈:一般框架之SDE篇
PaperWeekly
0+阅读 · 2022年8月14日
深度解析:什么是Diffusion Model?
PaperWeekly
5+阅读 · 2022年7月26日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Self-Attention GAN 中的 self-attention 机制
PaperWeekly
12+阅读 · 2019年3月6日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员