深度学习和基础模型在时间序列预测中的综述

深度学习已经成功应用于许多应用领域，但其在时间序列预测方面的优势显现较慢。例如，在著名的 Makridakis（M）竞赛中，传统统计或机器学习技术的混合应用直到最近才开始表现突出。随着深度学习的最新架构进展（例如，带有注意力机制的编码器-解码器、变换器和图神经网络）被应用于时间序列预测，深度学习开始展现显著优势。然而，在大流行病预测领域，深度学习模型仍面临挑战：时间序列长度不足以进行有效训练、对累积的科学知识缺乏认识、以及模型的可解释性问题。为此，基础模型（具有广泛预训练的大型深度学习模型）的开发使得模型能够理解模式和获得知识，这些知识可以在广泛训练数据变得可用之前应用于新的相关问题。此外，深度学习模型还可以利用包括知识图谱和用科学领域知识微调的大型语言模型等大量知识。目前，正在研究如何将这些知识利用或注入到深度学习模型中。在这篇综述中，我们回顾了几种最新的建模技术，并提出了进一步工作的建议。1 引言

过去四年对 COVID-19 的经历向像国家科学基金会（NSF）和疾病控制与预防中心（CDC）这样的组织清楚地表明，我们需要为下一次大流行做更好的准备。截至 2024 年 1 月 13 日星期六，仅在美国，COVID-19 就造成了 6,727,163 例住院和 1,169,666 例死亡（美国首例 1/15/2020，美国首次死亡 2/29/2020）。下一次大流行可能会更具传染性，带来更大的影响。有一些显著的成功，例如能够比以往方法更快开发的信使 RNA 疫苗。然而，检测大流行开始和预测其轨迹的记录还有改进的空间。 大流行病准备包括持续监测的需求。在复杂的随机系统中预测罕见事件非常困难。从出现前到流行病再到大流行的过渡，只有在事后才能清楚地看到。使用模型进行大流行预测也非常重要。由于其高影响和可能造成的生命损失，复杂的模型被用于预测飓风的未来。大流行的影响可能会更大。与天气预报一样，准确的大流行预测需要三件事：（1）模型的收集，（2）准确的数据收集，以及（3）数据同化。如果这三者中的任何一个出现问题，准确性就会下降。准确性下降时，干预和控制机制无法最优化地应用，导致公众的挫败感。 在 COVID-19 大流行期间，数据每天都在收集，但如图 1 所示，存在一个非常强烈的每周模式，主导了新增死亡曲线，这是报告流程的人为影响。另外，注意住院人数和重症监护病房（ICU）患者数量似乎是很好的领先指标。 由于每日死亡人数的锯齿形模式，一些建模研究发现使用每周数据更好。在 COVID-19 后期，日报停止，只剩下每周报告。不幸的是，这意味着用于训练深度学习模型的数据大大减少。应用的建模技术是统计的、机器学习的或基于理论的腔室模型，这些模型是对易感-感染-康复（SIR）或易感-暴露-感染-康复（SEIR）模型的扩展。这些状态之间的转换由微分方程控制，其速率常数可以从数据中估计。不幸的是，估计例如处于暴露状态的个体的人口可能非常困难。另外两个类别，统计和机器学习（包括深度学习和基础模型），可以说更适应可用数据，因为它们寻找重复的模式、依赖过去和领先指标。两者都可以被构建为多变量时间序列（MTS）预测问题，尽管 MTS 分类和异常检测的相关问题也非常重要。然而，与理论的联系是可取的，可能会导致更好的长期预测，以及对现象的更深入理解。这导致了对理论指导的数据科学（TGDS）[52, 82]和物理信息神经网络（PINN）[51]的研究。统计和机器学习技术相互补充。例如，建模研究应该有可靠的基线模型，根据我们的研究，应该包括随机游走（RW）、自回归（AR）和季节性、自回归、整合、移动平均带外部变量（SARIMAX）。当训练数据有限时，SARIMAX 通常与深度学习模型竞争。如果使用每周数据，那么在大流行的早期阶段，训练数据将是有限的，正是准确预测最需要的时候。像 SARIMAX 这样的基线也可以帮助进行超参数调整，因为有足够的数据，人们会期望深度学习模型表现良好；SARIMAX 的结果可以帮助衡量这一点。此外，SARIMAX 已被用于数据增强，以帮助训练深度学习模型[42]。 展望未来，这篇扩展了 [80] 的综述论文提出了一个问题：人工智能（AI），特别是深度学习，如何被用于提高大流行病准备和预测，以便更好地深度学习模型、更可解释的模型、使用大型语言模型（LLM）访问科学文献、开发和使用知识库和知识图谱，以及更好和持续的评估大流行干预和控制。

本文的其余部分组织如下：第 2 节提供了 MTS 预测的两波改进的概述。第 3 节重点关注了最近在 MTS 预测方面的进展，着眼于变换器和相关建模技术。这些建模技术越来越努力更好地捕捉时间动态，并倾向于成为国家级 COVID-19 预测的顶尖表现者。第 4 节重点关注了最近在空间-时间域中的 MTS 预测进展，各种类型的图神经网络在这里有自然的吸引力。这些建模技术倾向于应用于州级 COVID-19 数据。第 5 节讨论了用于时间序列预测的基础模型，即大型预训练深度学习模型。第 6 节讨论了各种形式的知识，如知识图谱，它是预测模型的自然补充。这些知识可以用于提高预测准确性，检查预测的合理性（特别是长期预测的问题），指导建模过程，并帮助解释建模结果。第 7 节给出了当前文献中发现的几种建模技术的有效性比较的元研究。最后，第 8 节给出了总结，包括展望未来 MTS 可能的发展方向。