【HKU博士论文】深度学习方法在时间序列正常性建模与生成预测中的应用

真实世界中的时间序列数据通常复杂且难以通过传统分析方法处理。深度学习在应对这种复杂性方面展现了很大的潜力，但针对时间序列数据的有效方法仍在不断开发之中。特别是，常用的序列到序列框架未能充分利用时间层次结构，在长序列解码方面表现不佳。本文通过结合时间层次结构，探索了先进的深度学习技术，以实现更有效的时间序列分析。首先，我们提出了一种具有多分辨率集成解码的递归自编码器。该方法使用粗到细的融合机制，进行多分辨率时间融合，结合多个解码专家。另一方面，一类表示学习通过假设高维隐空间中的一个超球体，避免了序列解码。我们通过引入具有多重时间尺度的时间层次一类表示，扩展了现有的一类方法。这种方法能够在统一的一类学习框架中捕捉丰富的正常模式。此外，我们还探索了一种基于自适应多轮掩蔽对比学习框架，以提高一类表示学习的效果。时间层次结构还可以应用于时间序列扩散模型。我们首先开发了两种条件生成机制，以增强这些扩散模型。然后，我们提出利用多分辨率分析，从时间序列中顺序提取细到粗的趋势用于前向扩散，同时去噪过程以一种从易到难的非自回归方式进行。实验结果表明，将时间层次信息集成到深度学习模型中，在各类时间序列任务中，包括正常性建模和生成预测，相比最先进的方法更为有效。

时间序列建模是许多现实世界应用中的核心问题，如销售预测[16]、天气预测[17]、医疗保健[18]、地震检测[19]、交通管理[20]和天文学[21]。有效的人工智能方法用于时间序列建模，预计能够应对以下挑战：

• 非线性动态： 时间序列数据通常表现出复杂的非线性时间依赖关系。建模这些非线性动态对于理解潜在的时间模式和做出准确预测至关重要。
• 噪声观测： 真实世界中的时间序列数据容易受到噪声、异常值和测量误差的影响。这些因素可能会显著影响建模过程，掩盖真实信号，从而导致不准确的预测。
• 非平稳性： 时间序列表现出非平稳性，即数据的统计特性随着时间发生变化。这是一个挑战，因为传统的建模技术通常假设数据是平稳的，可能无法捕捉到不断变化的动态。
• 多分辨率结构： 时间序列数据通常具有多分辨率结构，模式和依赖关系在不同的尺度或频率下发生。有效捕捉这些多分辨率结构对于理解数据的复杂动态至关重要。

机器学习方法广泛应用于人工智能领域，通常分为判别模型和生成模型。判别方法，包括监督学习、无监督学习和强化学习，在该领域发挥了重要作用。然而，传统的机器学习方法在进行时间序列建模时，通常过于依赖数据表示或特征工程。这种对手动特征工程的依赖使得将机器学习技术应用于各种时间序列任务变得劳动密集且耗时。因此，对于能够最小化大量特征工程需求的端到端深度学习算法的需求日益增长。此外，长时间序列数据中的复杂时间动态对深度生成模型的开发构成了重大挑战。尽管该领域取得了一些进展，但为时间序列创建强大的生成模型仍然非常复杂。不同时间步之间复杂的交互和依赖关系使得准确捕捉潜在的生成过程变得具有挑战性。开发能够有效捕捉时间动态并生成逼真的时间序列样本的深度生成模型仍是一个持续的研究领域。本文通过结合时间层次结构特征，探索了先进的深度学习技术，以实现更有效的时间序列分析。具体来说，我们为真实世界中的时间序列应用开发了新的表示学习方法和条件生成模型，包括异常检测和长期预测。前者任务要求具有从给定数据建模正常性（normality）的强大能力，使模型能够捕捉正常的时间序列表示，并在测试过程中识别未知或未见的异常。另一方面，后者任务旨在通过历史观测的引导，建模未来值的条件分布。与传统的机器学习方法不同，深度学习方法本质上是数据驱动的。它们通过使机器或算法能够直接从数据中自动学习相关特征，努力消除手动特征工程的需求。这一特性使得深度学习技术近年来越来越受到关注和重视。尽管深度学习在计算机视觉和自然语言处理等领域的应用已经得到了广泛研究[22]，但其在时间序列分析中的应用相对较少，研究也较为有限。如图1.1(a)所示，通用的深度学习框架以端到端的方式从输入X到输出Y建立映射（记作F，参数为Θ），即： 在表示学习方法（b）中，其输出通常是一个压缩的固定长度表示向量Z。表示Z预计以监督或无监督的方式捕捉X的判别性模式。这个过程有助于在时间序列中发现有意义的特征。与表示学习方法相比，时间序列生成建模（c）直观上旨在从先验分布学习到一个映射，生成真实时间序列分布。通过利用给定条件（例如历史观测）的引导并捕捉时间序列中的统计特性，模型能够生成具有与真实数据相似特征的未来时间序列样本。通过将时间序列建模任务划分为这两个不同的类别——时间序列表示学习和生成建模——我们能够系统全面地研究现有的基于深度学习的时间序列分析方法。