高效扩散模型：从原理到实践的全面综述

作为近年来最受欢迎和广受关注的生成模型之一，扩散模型引起了众多研究人员的兴趣，并在图像合成、视频生成、分子设计、三维场景渲染和多模态生成等各种生成任务中表现出显著优势，这些都依赖于其深厚的理论原理和可靠的应用实践。扩散模型的成功主要归功于渐进式的设计原则，以及高效的架构、训练、推理和部署方法。然而，目前尚缺乏全面深入的综述来总结这些原理和实践，以帮助快速理解和应用扩散模型。在本综述中，我们从效率导向的角度出发，对现有的研究进行了总结，主要聚焦于架构设计、模型训练、快速推理和可靠部署中的深层原理和高效实践，以便以读者友好的方式指导进一步的理论研究、算法迁移和模型在新场景中的应用。代码已发布在：https://github.com/ponyzym/Efficient-DMs-Survey

近年来，扩散模型（DMs）取得了显著成功，伴随着一系列视觉上令人惊叹的生成内容的涌现。在图像合成领域超越生成对抗网络（GANs）之后，扩散模型在许多下游应用中展现出潜力，如图像合成、视频生成、音频合成、三维渲染与生成等，成为新一代生成模型家族的代表。在这些令人瞩目的成果背后，扩散模型比其他生成模型（如变分自编码器（VAEs）和生成对抗网络（GANs））具有更为深厚的理论基础。此前的大量研究努力集中于采样过程、条件引导、似然最大化以及泛化能力，以提高其效率并增强生成能力。基于这些丰富的研究工作，我们几乎可以看到扩散模型正成为与大规模语言模型（LLMs）并驾齐驱的两大璀璨之星。然而，对于LLMs，已有众多综述对其高效架构设计、模型训练、监督微调、偏好对齐及相关应用进行了详细解释。但在扩散模型领域，现有综述在全面、深入地总结其原理和实践方面仍存在显著不足（参见图1），不利于未来工作中对扩散模型的快速理解与应用。此外，值得注意的是，受益于自注意力机制和深度可扩展架构的优势，LLMs已获得强大的语言涌现能力。然而，目前的扩散模型仍面临扩展性困境，这对支持大规模深度生成训练和类似于LLMs的智能涌现能力至关重要。代表性例子是，Sora的出现将生成模型的智能涌现能力推向了高潮，它将视频模型视为世界模拟器。然而，遗憾的是，Sora依然是一个闭源系统，其智能涌现的机制尚不明确。本综述旨在系统性地整理扩散模型领域在高效性方面的最新进展，以推动生成模型的智能涌现（如图2所示）。我们将文献按六大主要类别进行分类，涵盖高效扩散模型的各个方面，包括：原理、高效架构、高效训练与微调、高效采样与推理、部署及应用。

• 原理：着重于扩散模型的深厚理论基础，通过梳理相关理论（如动态建模、分数匹配、潜在投影和条件引导）来解释其生成有效性，以促进新理论的发展并指导各种高效生成实践。

• 高效架构：探讨扩散模型的主流骨干网络，包括U-Net、DiT、U-ViT、MamBa等，并分析其设计结构，比较各自优劣，以促进更强大的新深度可扩展架构的涌现。

• 高效训练与微调：整理扩散模型的高效训练、微调和偏好优化方法，如低秩适应、一致性训练、对抗训练和适配器训练等，帮助研究人员和开发人员为特定低资源或个性化训练任务选择合适的方法。

• 高效采样与推理：综述扩散模型中最常用的高效采样与推理策略，涵盖无学习和基于学习的方法，通过比较其在不同生成任务中的加速性能，为研究更快速的采样方法提供理论依据。

• 高效部署：总结当前扩散模型在移动设备和网页上的最新部署方案，促进其在各类跨平台、低资源环境中的操作，并推动各种应用的诞生。

• 应用：探讨高效扩散模型在不同领域的实际应用，强调生成性能、效率与计算成本之间的平衡。

综上所述，本综述深入研究这些工作，探索使扩散模型在设计、训练和计算方面更加高效的各类理论、方法和策略。我们回顾了高效扩散模型的发展历史，提出了高效扩散模型策略的分类法，并全面比较了现有高效扩散模型的性能。通过本次调查，我们希望提供对当前先进且高效的生成模型的全面理解。同时，本综述作为一份路线图，突出了未来研究和应用的潜在方向，并促进对高效扩散模型领域挑战和机遇的更深入理解。此外，我们在GitHub上建立了一个仓库，用于汇总本综述中提到的论文，并按相同分类法进行整理，地址为：https://github.com/ponyzym/Efficient-DMs-Survey。我们将积极更新并融入新的研究。

**2. 效率扩散模型：基础原理

2.1 离散定义与理论预备知识扩散模型（Diffusion Models，DMs）是一类基于无监督潜在变量模型的生成模型，最初受到非平衡热力学的启发。这些模型定义简单且能够高效训练，并在生成高质量样本方面表现出色。离散DM通过一个前向数据扰动过程 q(x1:T∣x0)q(x_{1:T} | x_0)q(x1:T∣x0) 和一个可学习的反向去噪过程 pθ(x0:T)p_{\theta}(x_{0:T})pθ(x0:T) 来实现，其中二者都是基于马尔可夫步骤进行的渐进式加噪和去噪操作。具体来说，给定数据分布 q(x0)q(x_0)q(x0)，前向扰动过程将 x0x_0x0 转化为 xTx_TxT ，而反向过程从 p(xT)=N(xT;0,I)p(x_T) = N(x_T; 0, I)p(xT)=N(xT;0,I) 开始，逐渐估计后验分布 pθ(xt−1∣xt)p_{\theta}(x_{t-1} | x_t)pθ(xt−1∣xt) ，直至恢复到 x0x_0x0。其训练目标为最小化模型的负对数似然，以优化模型参数 。2.2 连续定义与得分匹配原理连续时间DMs使用基于随机微分方程(SDE)的定义，该方法可以描述为在数据分布 pdata(x)p_{\text{data}}(x)pdata(x) 上施加扰动核 pσ(x~∣x)=N(x~;x,σ2I)p_{\sigma}(\tilde{x} | x) = N(\tilde{x}; x, \sigma^2I)pσ(x~∣x)=N(x~;x,σ2I)，并随后利用逆ODE（也称为概率流ODE）进行反向去噪，从而保持前向SDE的边际概率密度不变。这种定义方式使得模型在渐进式去噪过程中能够维持与前向过程相同的概率分布特性(Efficient Diffusion Mod…)。得分匹配是一种常见的用于估计未归一化统计模型的方法，尤其适用于扩散模型中的梯度估计。给定数据分布的样本，任务是学习未归一化的密度 p~m(x;θ)\tilde{p}_m(x; \theta)p~m(x;θ)，其中 θ\thetaθ 是参数空间的一部分。通过估计数据的得分函数，模型可以逐渐构建出与样本相符的分布(Efficient Diffusion Mod…)。2.3 潜变量建模潜变量投影是一种通过预训练的VQ-VAE模型将输入图像压缩到高维空间的方法，该方法几乎被所有当前扩散模型所采用。此过程涉及编码器和解码器，前者用于将图像转化为潜变量，而后者则在完成扩散过程后将其重构为原图像。这种建模方式帮助扩散模型在较低维度空间中高效地处理图像生成(Efficient Diffusion Mod…)。2.4 条件引导条件引导原理主要应用于文本条件扩散模型，通过将文本条件的语义整合到噪声预测模型中来生成与文本语义相符的视觉内容。常见的技术包括无分类器指导，其通过调整指导权重实现对图像生成过程的控制，确保生成结果符合预期的文本描述。这类引导机制在文本到图像生成任务中发挥着关键作用，且广泛应用于提高生成质量和可控性(Efficient Diffusion Mod…)。

**3. 主流网络架构

3.1 VAE用于潜在空间压缩在高维RGB像素空间中进行扩散和去噪的计算代价高且影响推理速度。为减轻此负担，LDM观察到图像中的大部分信息用于感知细节，即使在压缩后仍能保留语义与概念结构。LDM通过训练变分自编码器（VAE），将输入图像从像素空间压缩到潜在空间，以降低资源消耗，图像的扩散和去噪随后在潜在空间中进行。这种方法显著降低了扩散模型的训练和推理成本。该结构通常包括标准VAE、量化VAE（如VQVAE或VQGAN）及其变体，使用GAN判别器损失来提高重构质量。训练好的VAE可作为通用压缩模型，其潜在空间可以用于训练多个生成模型，并应用于其他下游任务(Efficient Diffusion Mod…)。

3.2 去噪神经网络骨干在扩散模型中，神经网络主要充当去噪阶段中的残差式噪声预测器，这些去噪网络主要包括以下几类：

1. U形去噪网络（U-Net为主）：扩散模型的核心架构之一为U-Net。该架构采用编码器-解码器结构，通过卷积操作逐层提取并下采样图像特征，并在解码阶段逐步恢复空间分辨率。Song等对U-Net在扩散模型中的表现进行了改进，增加了网络宽度和深度，以及注意力头的数量，从而提高了图像生成任务的性能(Efficient Diffusion Mod…)。
2. 基于Transformer的去噪网络：Transformer架构因其在建模长程依赖关系方面的能力，逐渐在图像和视频生成任务中取代U-Net。U-ViT将Transformer块引入U形结构，DiT引入了视觉Transformer并展示了其在扩散模型中的可扩展性。DiT还通过引入时空Transformer块扩展至视频生成任务，展示了生成高质量视频内容的潜力(Efficient Diffusion Mod…)。
3. 基于状态空间建模（SSM）的去噪网络：SSM为长序列生成任务提供了计算效率与灵活性之间的平衡。近期的一些SSM方法被证明在多个任务和模态上有效。Mamba架构结合了SSM，通过硬件感知算法实现高效训练和推理，并在扩散模型中用于高分辨率图像生成(Efficient Diffusion Mod…)。 3.3 文本编码器文本编码器用于捕捉输入文本中的复杂语义，是文本条件生成模型的关键组件。早期的文本-图像生成方法使用在配对数据上训练的文本编码器，例如CLIP和T5，支持跨模态生成。不同文本编码器在多语言支持与生成内容一致性上存在差异。近期模型如OmniDiffusion和Kolors支持多语言条件文本输入，增强了生成模型的适用性(Efficient Diffusion Mod…)。

**4. 高效训练与微调

4.1 参数高效方法参数高效的训练方法旨在通过仅更新少量参数而非整个模型来调整预训练模型，以适应新任务，从而防止过拟合并提高性能。给定扩散模型的预训练参数θ={w1,w2,…,wn}\theta = {w_1, w_2, \dots, w_n}θ={w1,w2,…,wn}，微调任务的目标是通过在数据集DDD 上训练获得更新后的参数θ′={w1,w2,…,wm}\theta' = {w_1, w_2, \dots, w_m}θ′={w1,w2,…,wm}。相比于完全微调方法（∣Δθ∣=∣θ∣|\Delta \theta| = |\theta|∣Δθ∣=∣θ∣），当∣Δθ∣≪∣θ∣|\Delta \theta| \ll |\theta|∣Δθ∣≪∣θ∣ 时，即仅更新少量参数的情况下实现高效训练(Efficient Diffusion Mod…)。典型的参数高效方法包括ControlNet、低秩适配（LoRA）和适配器（Adapter）等，这些方法通过添加并更新轻量模块来实现高效的任务适应(Efficient Diffusion Mod…)。

4.1.1 ControlNets尽管扩散模型在文本到图像的生成能力上表现出色，但在深度到图像及姿态到图像等任务中仍存在空间组合控制的挑战。ControlNet通过在多分辨率层中引入视觉特征，使得生成过程更具可控性，并衍生出许多高效变体（如ControlNet-XS、ControlNeXt和ControlNet++），这些变体专注于在不增加参数数量的情况下提升控制能力(Efficient Diffusion Mod…)。4.1.2 适配器适配器方法通过增加少量适配模块来实现扩散模型的参数高效训练。典型的适配器包括T2I-Adapter、IP-Adapter等，这些模块对不同的控制信号（如图像或深度特征）进行编码，从而实现对生成任务的高效微调和控制(Efficient Diffusion Mod…)。**4.1.3 低秩适配（LoRA）**LoRA通过低秩分解来实现参数的结构化更新，以最小化更新参数的数量。基于LoRA的参数插值技术可以平滑过渡不同概念间的特征(Efficient Diffusion Mod…)。4.2 标签高效方法标签高效方法针对数据匮乏的情况，通过优化偏好和个性化训练来提升扩散模型的生成质量。偏好优化通过奖励模型代替人工标注，并通过强化学习从人类反馈中学习，以调整模型生成的图像更符合人类美学偏好。而个性化训练则在小样本数据集中提取最显著的特征，以保证扩散模型的生成能力(Efficient Diffusion Mod…)。

**5. 高效采样与推理

5.1 无需训练的方法 在扩散模型中，采样通常需要大量迭代去噪操作，这极大地影响了实际应用中的效率。因此，研究者们提出了多种无需训练的方法，以减少推理阶段的迭代次数，同时保持模型的生成质量。这些方法主要通过求解离散化的随机微分方程（SDE）或概率流常微分方程（PF-ODE），加速采样过程。 * SDE 求解器：作为加速采样的一种数值方法，SDE求解器通过将连续时间SDE离散化为多个时间步，以提高采样效率(Efficient Diffusion Mod…)。 * ODE 求解器：PF-ODE 求解器与 SDE 不同，其采样过程是确定性的，更适合作为知识蒸馏中教师模型。DDIM 是一种较快的扩散采样调度器，通过非马尔科夫扩散过程支持较大的去噪步长(Efficient Diffusion Mod…)。 * 轨迹优化：通过优化采样轨迹来加速采样过程，例如 ReDi 利用预先计算的知识库检索，以便在采样的初始阶段加快采样进程(Efficient Diffusion Mod…)。

5.2 基于训练的方法 基于训练的方法侧重于通过知识蒸馏、对抗训练等方式，加速模型在生成过程中的采样速度，并增强生成质量。这些方法通常被划分为三类：基于分布、轨迹以及GAN的蒸馏方法。 * 基于分布的蒸馏：Denoising Student 方法通过对比学生模型和教师模型的噪声分布，以减少去噪步骤，并加快采样过程(Efficient Diffusion Mod…)。 * 基于轨迹的蒸馏：Rectified Flow等方法优化了从非线性路径到直线路径的转换，从而减少采样步骤(Efficient Diffusion Mod…)。 * 对抗蒸馏：通过结合GAN的单步生成优势，ADD等方法在传统扩散模型中引入对抗损失来加速采样(Efficient Diffusion Mod…)。

这些高效采样和推理方法为扩散模型的实际应用提供了理论基础，并有效地平衡了采样速度和生成质量。希望本部分的总结能为研究人员在不同任务中的模型优化提供参考。

**6. 高效部署与应用

6.1 作为工具的高效部署 在实际应用中，将扩散模型作为工具进行高效部署对于研究人员、开发人员和其他生成式内容创作从业者至关重要。这类用户需要较高的灵活性和对生成过程的控制，以便在不同场景下调整和优化模型配置。这种部署类型为深度实验和定制化提供了环境，能够充分发挥扩散模型的潜力。尤其适用于需要测试多个模型配置、调整噪声参数、优化性能或集成自定义组件的任务。因此，工具型部署通常强调模块化设计、可扩展性、对多样化需求的适应性和较高的控制水平(Efficient Diffusion Mod…)。 ComfyUI 作为此类工具的一个例子，它采用了基于节点的工作流界面，允许用户通过连接不同的节点来构建并修改复杂的图像生成流程。这种模块化设计特别适合需要对生成过程进行细化和定制化的用户，尤其是研究人员和开发人员。尽管 ComfyUI 的灵活性使其学习曲线较陡峭，但它为那些希望在输入到输出的工作流程各阶段进行跟踪的用户提供了极大的便利(Efficient Diffusion Mod…)。 相反，Stable Diffusion WebUI（通常称为 Automatic1111 或 WebUI）提供了一种简单的表单样式界面，用户可以通过输入参数如提示词、步数、CFG 缩放比例和图像分辨率来快速生成图像。这种设计特别适合希望快速生成图像的用户，尤其是初学者。尽管它隐藏了详细的图像生成工作流程，但 WebUI 仍然提供了高级功能和定制选项，通过其插件系统可以实现各种功能，如图像修复和个性化训练工具，这使得其扩展性较强(Efficient Diffusion Mod…)。

6.2 作为服务的高效部署

作为服务的高效部署旨在为更广泛的用户群体提供支持，这类用户通常不具备高级技术知识或高端本地计算资源。服务提供商通过将扩散模型的复杂处理简化为“一键式”用户体验，将重点放在推理过程和用户交互的优化上。目标是在移动和云平台上提供更快速、更稳定的推理服务，以满足日常用户的需求，同时还需考虑成本控制和隐私保护(Efficient Diffusion Mod…)(Efficient Diffusion Mod…)。 Google 通过优化 GPU 内存 I/O 显著降低了移动设备上的推理延迟，包括增强注意力模块和使用 Winograd 卷积等改进，从而减少了大中间矩阵的内存访问，同时通过 FlashAttention 降低了内存带宽压力。测试表明，在三星 S23 Ultra 和 iPhone 14 Pro Max 上，生成 512px 分辨率图像的延迟分别减少了 52.2% 和 32.9%，推理时间降至12秒以内(Efficient Diffusion Mod…)。 此外，SnapFusion 在移动设备上的推理时间已降至2秒以内，展示了其在高效推理中的创新性。通过优化 UNet 并引入 CFG 感知步骤蒸馏，SnapFusion 显著提高了推理效率和稳定性。在 MS-COCO 数据集上的实验显示，SnapFusion 仅使用 8 个去噪步骤便获得了优于 Stable Diffusion v1.5 的性能(Efficient Diffusion Mod…)。 MobileDiffusion 针对移动设备进一步优化了扩散模型架构，通过共享投影矩阵、替换激活函数和采用可分离卷积，实现轻量化模型。它通过剪枝 VAE 解码器的宽度和深度以加速解码过程，同时引入基于 GAN 的混合训练方法，支持一步采样，在 iPhone 15 Pro 上可以在 0.2 秒内生成 512px 图像(Efficient Diffusion Mod…)。 在云端的高效部署上，DistriFusion 采用多 GPU 并行策略，通过观察相邻扩散步骤输入的高度相似性，使用“位移补丁并行性”实现显著加速。在 8 个 A100 GPU 上生成高分辨率图像时，DistriFusion 达到约 2.8×、4.9× 和 6.1× 的加速效果(Efficient Diffusion Mod…)。

**7. 应用

扩散模型的高效应用涵盖多个领域，包括图像合成、图像编辑、视频生成、视频编辑、三维合成、医学影像和生物信息学工程等。以下是各个应用领域的概述：

7.1 图像合成

图像合成是计算机视觉中的重要任务，广泛应用于艺术创作和个性化内容生成。扩散模型在文本到图像的生成中表现出色，例如Dreambooth提出的基于主题的个性化生成方法，能够在合成过程中保留样本的视觉内容。此外，扩散模型在图像风格迁移和视觉文本生成等方面也有应用，帮助生成高质量的海报和连贯的图像系列(Efficient Diffusion Mod…)。

7.2 图像编辑

扩散模型具备强大的可控生成能力，特别适合需要在生成过程中进行调整的图像编辑任务。诸如虚拟试穿技术可以让用户体验不同的服装效果，图像编辑技术还包括文本驱动的风格迁移和特定领域的编辑方法，满足用户的不同编辑需求(Efficient Diffusion Mod…)。

7.3 视频生成

在视频生成中，扩散模型已被应用于生成和编辑一系列连贯的视频帧，保证视频的时间一致性和自然流畅性。虚拟试穿在视频中的应用进一步增强了用户编辑视频内容和外观的能力，而视频动作编辑则侧重于角色或物体动作的灵活调整，提升了视频内容的灵活性和一致性(Efficient Diffusion Mod…)。 7.4 视频编辑

视频编辑中的一大目标是保持帧间的时间一致性，以确保生成的视频看起来自然流畅。扩散模型在这一领域的应用包括视频试穿和视频动作编辑，前者使用户能够更真实地体验不同的服装效果，而后者则注重角色或物体动作的灵活编辑(Efficient Diffusion Mod…)。 7.5 三维合成

三维合成广泛用于影视制作、电子游戏、虚拟现实和增强现实中，通过扩散模型生成并组合三维图像和场景。这项技术能够创建高度逼真且动态的三维环境，显著增强视觉沉浸感和交互体验(Efficient Diffusion Mod…)。 7.6 医学影像

扩散模型在医学影像领域具有重要价值，能够生成高质量的医疗图像，缓解数据稀缺问题，并提高影像分析的准确性。该模型还支持多模态影像转换，例如从CT影像到MRI影像的生成，提升诊断一致性并降低成本(Efficient Diffusion Mod…)。

7.7 生物信息学工程

在生物信息学领域，扩散模型用于生成并优化分子结构和蛋白质的三维构型。例如，通过生成合理的化学分子结构或预测蛋白质折叠方式，扩散模型促进了新药研发和分子模拟等领域的发展(Efficient Diffusion Mod…)。

**结论

在本研究中，我们对高效扩散模型（DMs）的文献进行了深入全面的回顾，全面探索了其核心挑战和主题，包括基础理论和原理以及广泛的实际应用。我们的目标是识别并突出需要进一步研究的领域，并提出未来研究的潜在方向。本文旨在提供对当前高效扩散模型现状的全面视角，希望能激发更多的研究和创新工作。

鉴于该领域的动态发展特性，某些最新进展可能未能全面覆盖。为了解决这一问题，我们计划建立一个专门网站，通过众包方式跟踪最新进展。该平台将作为一个持续更新的信息来源，以促进该领域的持续发展。由于篇幅限制，本文无法深入探讨所有技术细节，但已对该领域的关键贡献进行了简要概述。未来，我们计划持续更新和完善网站上的信息，并随着新的见解不断补充内容。