潜在扩散模型(LDMs)作为一类强大的生成模型,已在图像合成等领域展示了惊人的成果。然而,训练高分辨率的扩散模型在像素空间可能极其昂贵。为克服这些限制,潜在扩散模型首先使用自编码器将高分辨率数据映射到一个压缩的、通常是低维的潜在空间,然后在该潜在空间中更高效地训练扩散模型。因此,LDMs在避免过度计算需求的同时实现了高质量图像合成。此外,具有自编码器的LDM范式,可针对特定问题和数据进行定制,并在潜在空间中使用独立的扩散模型,提供了极大的灵活性,适用于架构和模型设计。这使得LDMs能成功扩展到图像生成之外的各种任务,如视频合成、3D对象和场景生成、语言建模等。最著名的例子是文本到图像模型Stable Diffusion,它利用了LDM框架。LDMs在生成模型文献中已变得非常流行和广泛使用。

在本教程中,我们旨在提供LDMs的介绍。虽然扩散模型的文献已经很广泛,但LDM范式由于其灵活性以及在性能和计算需求之间的出色权衡而特别突出。我们的目标是呈现一个LDM教程,有助于对高效且灵活但富有表现力的生成模型框架感兴趣的研究者。我们还将强调加速采样和可控性的高级技术,并讨论LDMs在图像合成之外的各种应用。此外,一个小组讨论将提供这一动态领域的多元视角,并为未来对LDMs的研究提供展望。 本教程专注于潜在扩散模型。对于扩散模型的一般教程,我们推荐参考在CVPR'22和CVPR'23上展示的、已录制并公开可用的教程。

成为VIP会员查看完整内容
53

相关内容

【2023新书】超图计算,Hypergraph Computation,251页pdf
专知会员服务
73+阅读 · 2023年5月29日
【NeurIPS'22教程】图神经网络TensorFlow实战指南,128页ppt
专知会员服务
30+阅读 · 2022年11月30日
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
39+阅读 · 2022年11月5日
【ECCV2022教程】二维轮廓和形状重建,156页ppt
专知会员服务
12+阅读 · 2022年10月28日
专知会员服务
29+阅读 · 2021年10月17日
专知会员服务
82+阅读 · 2021年6月20日
【UCLA】基于深度神经网络的工业大模型预测控制,36页ppt
【KDD2020】图神经网络:基础与应用,322页ppt
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2014年12月31日
Deep graph kernel point processes
Arxiv
0+阅读 · 2月2日
Arxiv
157+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
139+阅读 · 2023年3月24日
Arxiv
20+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【2023新书】超图计算,Hypergraph Computation,251页pdf
专知会员服务
73+阅读 · 2023年5月29日
【NeurIPS'22教程】图神经网络TensorFlow实战指南,128页ppt
专知会员服务
30+阅读 · 2022年11月30日
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
39+阅读 · 2022年11月5日
【ECCV2022教程】二维轮廓和形状重建,156页ppt
专知会员服务
12+阅读 · 2022年10月28日
专知会员服务
29+阅读 · 2021年10月17日
专知会员服务
82+阅读 · 2021年6月20日
【UCLA】基于深度神经网络的工业大模型预测控制,36页ppt
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员