基于深度学习的时间序列分类研究综述

时间序列分类(TSC)是数据挖掘领域中最重要且最具有挑战性的任务之一。深度学习技术在自然语言处理和计算机视觉领域已取得革命性进展，同时在时间序列分析等其他领域也显示出巨大的潜力。该文对基于深度学习的时间序列分类的最新研究成果进行了详细综述。首先，定义了关键术语和相关概念。其次，从多层感知机、卷积神经网络、循环神经网络和注意力机制四个网络架构角度分类总结了当前最新的时间序列分类模型，及各自优点和局限性。然后，概述了时间序列分类在人体活动识别和脑电图情绪识别两个关键领域的最新进展和挑战。最后，讨论了将深度学习应用于时间序列数据时未解决的问题和未来研究方向。该文为研究者了解最新基于深度学习的时间序列分类研究动态、新技术和发展趋势提供了参考。

时间序列分析被认为是21世纪数据挖掘领域的十大挑战性研究问题之一[1]。时间序列分类(Time Series Classification, TSC)是时间序列分析中的关键任务之一[2]。TSC旨在构建一个机器学习模型，用于预测连续有序的实值观测序列的类别标签。 TSC具有广泛的应用，如人体活动识别(Human Activity Recognition, HAR)[3,4]、基于电子健康记录的诊断[5]以及系统监测[6]等。此外，作为时间序列基准数据集的加利福尼亚大学河滨分校时间序列数据集[7] (University of California Riverside, UCR) 和东英吉利大学时间序列数据集[8] (University of East Anglia, UEA)包含类型的多样性，也充分说明了TSC的广泛应用领域。近年，深度学习在计算机视觉和自然语言处理领域取得了巨大的成功。相对于传统的机器学习方法，深度学习能够自动地从原始数据的低级属性中学习并抽取更高层次的有意义性特征。因此，深度学习在TSC领域也逐渐受到关注，更有学者认为深度学习对于视觉和语音等领域的影响会在TSC研究领域中得以复制。文献[9]讨论了亚历克斯网络(Alex Krizhevsky Network AlexNet)对计算机视觉的影响，并指出鉴于数据的相似性，深度学习在TSC领域有巨大的改进潜力。文献[10]是最早发表的基于深度学习的TSC综述之一，具有很大的影响力。作者将TSC分为生成模型和判别模型两大类，通过实验验证了这两大类中当前最先进性能的模型，结果显示判别模型中残差网络(Residual Network, ResNet)[11]是最准确的TSC深度学习模型。随后，同一研究团队提出了时间序列分类集成深度卷积神经网络(InceptionTime)[9]，该方法的性能优于之前综述中表现最佳的ResNet。自从InceptionTime之后，已有大量深度学习论文提出了TSC算法，其中大多数发表在最近3年。特别是，近年来备受关注且在时间序列数据中显示出色的短程和长程依赖关系建模能力的注意力模型，这些模型非常适用于时间序列建模[12,13]。许多注意力的变体模型已被提出，以解决时间序列建模中的特定挑战，并成功应用于时间序列分类[14,15]。鉴于注意力机制和时间序列分类的新网络结构的出现，本综述旨在提供关于最新方法的介绍，以对时间序列分类领域的深度学习最新研究进行系统和全面的总结。特别是，本文将对尚未在文献[10]中进行系统综述的基于深度学习的 TSC方法进行介绍，这将有益于时间序列分析社区的发展。本文首先定义并简要介绍了时间序列分类任务，随后概述了经典的非深度学习时间序列分类方法。接下来，从网络架构和应用领域两个角度提出了一个用于TSC的新分类法，并总结了基于多层感知器、基于卷积神经网络、基于循环神经网络和基于注意力的TSC模型架构，以及用于提高性能的改进方法。然后，总结了TSC在人体活动识别领域的研究现状。最后，探讨了深度学习时间序列分类任务中尚未解决的问题并展望了未来的研究方向。