扩散模型最初被用于图像生成,展现出强大的生成能力。近年来,它们已被拓展应用于时间序列预测(Time Series Forecasting, TSF)任务,并取得了令人鼓舞的成果。在本综述中,我们首先介绍了标准扩散模型及其常见变体,并解释了它们如何适应 TSF 任务。随后,我们对扩散模型在时间序列预测中的应用进行了全面回顾,重点关注条件信息的来源及其在模型中的融合机制。 在分析现有基于扩散模型的 TSF 方法时,我们对这些方法进行了系统化分类并给出了详细总结。此外,本文还介绍了多个应用于 TSF 的基础性扩散模型,以及常用的数据集与评估指标。最后,我们讨论了当前方法的局限性及未来可能的研究方向。 总体而言,本综述系统梳理了扩散模型在时间序列预测中的最新进展与未来前景,旨在为该领域的研究人员提供参考。
时间序列预测(Time Series Forecasting,TSF)是一项基础性任务,旨在基于历史数据预测序列的未来取值。该任务在诸多现实世界应用中扮演着重要角色,例如能源需求预测 [1, 2, 3]、交通流量预测 [4, 5, 6] 以及医疗监测 [7, 8, 9] 等。 时间序列数据形式多样,既包括监测单变量随时间变化的单变量序列,也包括刻画多个变量间相互关系的多变量序列,更复杂的还有时空序列(例如来自地理分布式传感器的数据)和融合了文本、图像或元信息的多模态序列。TSF 方法经历了显著的发展演进,从早期的传统统计模型如自回归积分滑动平均模型(ARIMA) [10, 11] 和指数平滑方法 [12, 13, 14],逐步过渡到基于深度学习的模型,如循环神经网络(RNN) [15, 16, 17]、卷积神经网络(CNN) [18, 19, 20] 以及 Transformer [21, 22, 23]。当前的研究中,深度学习方法已被广泛采用。 在多种深度学习方法中,生成式方法近年来快速发展,代表性模型包括变分自编码器(VAE) [24, 25, 26]、生成对抗网络(GAN) [27, 28, 29],以及特别受到关注的扩散模型(Diffusion Models) [30–34],它们因擅长刻画不确定性并生成高质量预测而受到研究者青睐。特别地,扩散模型作为潜变量生成器,通过逐步加噪与反向去噪两个过程学习复杂数据分布。这一范式变革性地推动了计算机视觉的发展,使得图像生成、图像修复与超分辨率等任务得以实现,并且避免了 GAN 所面临的对抗训练不稳定问题。受到这一成功启发,扩散模型开始被迁移到视觉之外的场景,包括 TSF,在该任务中提供了一个用于刻画复杂时间模式的生成式框架。 在时间序列预测任务中,扩散模型通常被建模为条件生成模型,其目标是在历史观测以及可选的上下文信息条件下生成未来序列 [26, 35–37]。训练阶段,真实未来序列通过正向扩散过程逐步加入高斯噪声;随后,使用历史上下文引导的神经网络被训练以反向还原这一加噪过程。在推理阶段,模型从随机噪声出发,通过反复去噪过程生成预测序列,即从所学习的条件概率分布中进行采样。 与传统模型相比,基于扩散的方法具有以下关键优势: 1. 能够生成概率预测,通过多次采样刻画不确定性; 1. 训练过程稳定,避免了对抗性训练的不稳定性; 1. 生成能力灵活,可无缝集成协变量、控制变量或多模态输入等各种条件信息。
因此,有必要对扩散模型在 TSF 任务中的应用进行一次系统性的综述,因为大多数现有的 TSF 综述工作仍聚焦于其他类型的方法 [38–40]。 在本文中,我们对用于 TSF 的扩散模型进行了全面的综述。我们首先回顾了扩散模型的基础方法,包括去噪扩散概率模型(DDPM) [32]、去噪扩散隐式模型(DDIM) [41],以及它们的扩展版本,如分类器引导(Classifier Guidance) [42] 与无分类器引导(Classifier-Free Guidance) [43](第 2 节)。 随后,我们提出了一个系统的分类体系,从两个维度对现有扩散式 TSF 方法进行分类: * 条件信息来源(如历史时间序列、多模态数据)(第 3 节); * 条件融合机制(如以特征为中心的融合、以扩散过程为中心的融合)(第 4 节)。
针对每一类方法,我们总结其共同特征,并重点介绍具有代表性的方法。 此外,我们还回顾了当前广泛使用的数据集(第 5 节)与评估指标(第 6 节),并在第 7 节分析了现有方法的整体情况,指出其当前的局限性,并在第 8 节提出未来可能的研究方向。通过本综述,我们旨在整合最新进展、揭示设计模式,并为扩散模型在 TSF 中的发展趋势提供深入见解。