时间序列基础模型综述：用大型语言模型推广时间序列表征

时间序列数据在各个领域中无处不在，使得时间序列分析至关重要。传统的时间序列模型是针对特定任务的，具有单一的功能和有限的泛化能力。最近，大型语言基础模型显示出了其在跨任务转移、零次/少次学习和决策解释性方面的显著能力。这一成功激发了探索基础模型以同时解决多个时间序列挑战的兴趣。主要有两个研究方向，即从头开始预训练时间序列的基础模型和将大型语言基础模型适配到时间序列。这两者都有助于开发一个高度泛化、多功能且易于理解的统一模型用于时间序列分析。本综述提供了一个3E分析框架，用于全面检查相关研究。具体来说，我们从三个维度——有效性、效率和解释性——检查现有工作。在每个维度中，我们专注于讨论相关工作如何通过考虑时间序列领域的独特挑战来设计定制解决方案。此外，我们提供了一个领域分类法，以帮助后来者跟进领域特定的进展。此外，我们还介绍了促进该领域发展的广泛资源，包括数据集、开源时间序列库。同时维护一个GitHub仓库以更新资源（https://github.com/start2020/Awesome-TimeSeries-LLM-FM）。

1 引言

时间序列数据指的是在连续时间间隔记录的数据点序列。时间序列分析有着悠久的研究历史，与现实世界的应用密切相关[51]。最早的时间序列挖掘可以追溯到古埃及时期，当时人们分析尼罗河的波动来指导农业生产[35]。早期，时间序列研究主要集中在商业和经济活动[57]、气象和人口统计等领域，当时收集的数据相对较小，结构简单（例如，单变量序列）。那时，统计学是主导方法论，促成了各种经典模型的发展，包括ARIMA、ARCH[50]和马尔可夫转换模型[64]。然而，大规模工业系统的出现，涵盖了交通[216]、医疗保健[101]、物联网（IoT）[59]和电子商务[8]等行业，导致了庞大而复杂的时间序列数据的产生。除了时间序列数据，一些系统还生成包括文本[82]、图像[150]和图表[98]在内的不同模态的数据。数据爆炸推动了具有日益复杂模式的新型时间序列应用的出现。例如，交通拥堵检测[7]、心电图（ECGs）分类[74]、电子商务销售需求预测[17]。统计方法难以管理如此庞大和异质的数据集，且依赖于预定义模式假设，限制了它们在处理动态和复杂模式的应用中的实用性。 在过去几十年中，机器学习和深度学习在各个领域取得了显著进展，特别是在计算机视觉（CV）和自然语言处理（NLP）[196]。与统计方法不同，这些方法可以以更自动化的方式处理更大、更多样化的数据集，减少了人力和专业知识的需求。这些技术引入了能够检测更复杂模式的先进架构，激发了时间序列社区的极大兴趣[79, 106, 125, 160]。因此，出现了多种针对时间序列建模的有效架构，包括不同基础架构的RNNs[108]、CNNs[29, 109, 207]、GNNs[28, 32]、Transformers[182]、扩散模型[107]。

尽管这些强大的架构将时间序列分析推向了一个新的水平，但在这一领域仍然存在未解决的挑战。 第一个挑战是关于知识的可迁移性[149]。时间序列通常表现出季节性（在特定间隔的规律波动）[56]和趋势（数据的长期方向）[132]。除了这些可识别的模式外，时间序列数据还表现出一定程度的随机性或噪声，这通常归因于未知的因素或模式。这些特征在不同领域之间甚至在同一领域随时间的变化可能差异很大，由于分布的变化[88]，使得将从一个特定任务中学到的模型或时间序列表示迁移到其他任务变得具有挑战性。例如，对股市数据训练的时间序列模型[188]学习到的模式受到经济指标、投资者情绪等高度不稳定因素的影响。而气候模型[131]则关注长期模式、季节循环，这些循环受物理定律而非人类行为的约束。由于数据性质的根本不同，不同领域间的知识可迁移性依然是一个挑战。 • 第二个挑战与数据稀疏性有关。在许多传统时间序列场景中[49, 157]，数据的收集可能是每日、每月或每年进行的（例如，经济指标[18]），这导致数据本质上的稀疏性。另外，获取和标注数据可能存在隐私限制。例如，对心电图（ECGs）[136]的分类需要临床诊断，但这些诊断成本高昂，且数据可用性受到患者隐私的限制。这种数据稀缺性阻碍了深度学习模型的有效训练。实际上，在大多数情况下，可用的数据集仍然不足以学习高质量的模型[110]。 • 第三个挑战是关于多模态学习[16]。在多模态时间序列分析的背景下，利用不同模态间的互补见解可以增强解释性并提升模型性能。例如，在股票行情预测中，社交媒体上的新闻和评论可以直接影响交易活动，将它们整合到模型中可以实现更精确的预测[170, 189]。然而，对各种频率或间隔收集的多模态数据进行对齐，以准确反映不同模态之间的时间关系，是具有挑战性的。此外，不同模态可能需要不同的技术来有效捕捉信息，将这些信息无缝整合成一个统一的模型可能很复杂。 •** 最后，解释性也是非常需要的[210]**。详细解释模型如何生成预测或识别模式可以显著增强时间序列的实用性和可接受性。一个案例是，如果一个公用事业公司使用一个能源需求预测模型[77]来计划电力生成或设定价格，它需要向监管机构和消费者证明这些决策是基于合理且可理解的因素。然而，大多数现有的时间序列模型本质上是黑盒，缺乏对模型行为或预测的解释。

为了应对上述挑战，已经有一些努力，如时间序列的迁移学习[78, 120, 177, 193]、时间序列数据增强[181]、多模态时间序列分析[26, 42]以及时间序列的可解释人工智能[143]。然而，这些工作大多集中在单一挑战上。时间序列社区期待一个能同时解决多个挑战的多方面模型。理想的模型应具有强大的泛化能力，能在训练期间处理未见过的时间序列任务和数据稀缺的任务。此外，它还应该能够无缝整合来自不同模态的数据，并为其决策过程提供可理解的解释。 在过去几年中，为了促进知识迁移，出现了一种结合迁移学习和自监督学习的新学习范式，即预训练和微调范式[65]。它首先在一个数据丰富的源域上预训练模型，然后在与源域相关的目标任务上进行微调[39]。BERT[41]是一个在大规模语料库上预训练的语言模型。研究人员发现，它可以适应广泛的下游NLP任务，并大幅提升它们的性能水平。这项研究激发了NLP[97, 138, 212]和CV[14, 137]领域中大量的后续工作。这类模型被称为基础模型（FM）[22]。它们在各种下游任务上展示出强大的泛化能力。当NLP研究者通过增加数据或模型规模来扩展基础模型时，他们观察到这些更大的基础模型获得了一些在较小模型中不存在的令人惊讶的能力。这些意外的能力被称为突现能力[179]，包括上下文学习[24]、指令跟随[69]、思维链（CoT）[128]。它们将语言基础模型从一个可迁移的NLP任务解决者转变为跨领域的通用任务解决者，现在广泛被称为大型语言模型（LLM）。LLM的发展迅速而强劲，催生了许多强大的LLM，如GPT系列[24, 138]。 受到大型语言基础模型在NLP中显著成功的启发，时间序列社区越来越关注基础模型在时间序列分析中的潜力[25, 82, 112]。一个研究方向是从零开始用时间序列数据预训练一个基础模型，仿照语言基础模型。如TimesFM[36]和TimeGPT[58]等开创性的努力已经启动了在时间序列领域内基础模型的预训练。然而，与NLP领域可用的庞大语料相比，时间序列领域的数据规模相对较小，使得难以产生具有LLM那样突现能力的基础模型。此外，基于时间序列数据预训练的基础模型缺乏语言生成能力，限制了它们生成人类可读解释的能力。受到大型语言基础模型在各种下游任务中强大的泛化能力的吸引，另一个研究方向集中于将大型语言基础模型（即LLM）适配于时间序列任务。大型语言基础模型在跨任务泛化、零次/少次学习和推理方面的优势可以解决知识迁移、数据稀缺性和可解释性等时间序列分析中的挑战。广义上，有两种将LLM适配于时间序列任务的范式，即嵌入可见的LLM适配和文本可见的LLM适配[113, 190, 192]。它们在LLM的使用上有所不同，使用微调的提示策略来适配LLM于时间序列任务。它们都面临着时间与LLM空间对齐、时间序列属性和模式识别、多模态数据融合的挑战。尽管这两条研究线探索了基于不同结构数据集（即时间序列或文本语料）预训练的基础模型，但它们都致力于实现一个统一且易于理解的架构，以解决多个时间序列挑战，并具有强大的泛化能力。

本综述对时间序列的基础模型的发展进行了深入分析。该评审以图2中的四个研究问题为指导，涵盖三个分析维度（即有效性、效率、可解释性）和一个分类法（即领域分类法）。(1) 如何在时间序列分析的背景下有效地适应基础模型？我们将相关工作分为两条研究线：从头开始为时间序列预训练基础模型和将大型语言基础模型（即LLMs）适用于时间序列。对于第一条线，我们通过两个关键阶段讨论有效性：数据收集与对齐、架构设计。对于第二条线，我们识别了两种适配范式，即嵌入可见的LLM适配和文本可见的LLM适配。在每种适配范式下，我们讨论了LLM的利用、时间序列提取和多模态数据融合。时间序列提取包括获取适当的时间序列表示、对齐时间空间和LLM空间、识别时间序列属性和模式等挑战。此外，我们还研究了LLM的多样化角色，这进一步增加了LLM适配的有效性。(2) 如何高效地为时间序列任务预训练或微调基础模型？鉴于这一领域正在兴起，当前的高效技术是从NLP领域借鉴的。因此，我们首先提供了一份可转移至此背景的NLP领域尖端高效方法的简要概览。然后，我们讨论了不同调整范式下的效率，并总结了已经使用的高效方法。(3) 如何获得时间序列应用中基础模型行为或决策的可解释性？模型的实际部署需要可解释性。我们从探索AI中的可解释性概念开始，强调全局和局部解释。然后，我们继续回顾和提炼现有研究中的可解释性进展。(4) 每个时间序列应用领域中基础模型的发展情况如何？为回答这个问题，我们引入了一个领域分类法。这个分类法使我们能够比较每个领域内现有研究的目标、贡献和局限。此外，我们还提供了丰富的资源，如代码、基准数据集、时间序列库和加速LLM的工具，以支持未来的研究工作。图4提供了基于四个研究问题的作品的综合概览。

论文组织 本综述的其余部分安排如下：第2节介绍与基础模型和时间序列分析相关的综述，指导读者了解每个领域的更多研究。第3节为读者提供关于基础模型和时间序列任务的基本知识。第4节深入探讨了时间序列的基础模型预训练的关键阶段。第5节检查了LLM向时间序列任务的适配。第6节讨论了模型微调和推理的效率。第7节总结了关于解释模型行为或决策的研究。第8节介绍了各个领域内的进展。最后，第9节提供了包括基准数据集、代码和时间序列库以及LLM工具在内的资源。