【NeurIPS2022】GENIE:高阶去噪扩散求解器

去噪扩散模型(DDMs)已经成为一种强大的生成模型。正向扩散过程会缓慢地扰动数据，而深度模型则学会逐渐去噪。合成相当于求解由学习的模型定义的微分方程(DE)。为了获得高质量的生成，求解DE需要缓慢的迭代求解器。在这项工作中，我们提出了高阶去噪扩散求解器(GENIE):基于截断泰勒方法，我们推导了一种新的高阶求解器，它显著加速了合成。我们的求解器依赖于受扰数据分布的高阶梯度，即高阶分数函数。在实践中，只需要雅可比向量积(JVPs)，本文建议通过自动微分从一阶分数网络中提取它们。然后，我们将JVP提取到一个单独的神经网络中，使我们能够在合成过程中高效地计算新采样器所需的高阶项。我们只需要在一阶分数网络上训练一个额外的小头部。我们在多个图像生成基准测试上验证了GENIE，并证明了GENIE优于所有以前的求解器。与最近从根本上改变DDMs中的生成过程的方法不同，GENIE解决了真正的生成DE，并仍然支持编码和引导采样等应用。项目页面和代码:https://nv-tlabs.github.io/GENIE。

https://arxiv.org/abs/2210.05475