Transformers在自然语言处理和计算机视觉的许多任务中都取得了卓越的性能,这也引起了时间序列社区的极大兴趣。在Transformer的众多优点中,捕获长期依赖关系和交互的能力对时间序列建模特别有吸引力,这使得各种时间序列应用取得了令人兴奋的进展。在本文中,我们系统地回顾了用于时间序列建模的Transformer方案,通过一个新的分类,从两个角度总结了现有的时间序列Transformer,突出了它们的优势和局限性。从网络改造的角度,总结了时间序列Transformers的模块级适应性和体系结构级适应性。从应用的角度出发,我们根据预测、异常检测和分类等常用任务对时间序列Transformer进行分类。根据经验,我们执行稳健分析、模型规模分析和季节性趋势分解分析,以研究《Transformers》在时间序列中的表现。最后,我们讨论并提出未来的研究方向,以提供有用的研究指导。

由于Transformer在自然语言处理(NLP) [Kenton and Toutanova, 2019]、计算机视觉(CV) [Dosovitskiy et al., 2021]、语音处理[Dong et al., 2018]和其他学科[Chen et al., 2021b]方面的出色表现,其在深度学习方面的创新[Vaswani et al., 2017]最近引起了极大的兴趣。在过去的几年中,许多Transformer的变种被提出,以大大提高各种任务的最先进的性能。不同方面的文献综述较多,如NLP应用方面的文献[Qiu et al., 2020;Han et al., 2021], CV applications [Han et al., 2020;Khan等人,2021年;Selva等人,2022年)、高效Transformer [Tay et al., 2020]和注意力模型[Chaudhari et al., 2021; Galassi et al., 2020]。

在时序数据的长距离依赖和交互中,transformer表现出了很强的建模能力,因此在时间序列建模中很有吸引力。由于时间序列数据和时间序列任务的特殊特性,许多Transformer的变体被提出以适应各种时间序列任务中的时间序列数据,如预测[Li et al., 2019; Zhou et al., 2021; Zhou et al., 2022],异常检测[Xu et al., 2022; Tuli et al., 2022],分类[Zerveas et al., 2021; Yang et al., 2021],等等。例如,季节性或周期性是时间序列的一个重要特征[Wen等人,2021a],如何有效地建模长期和短期的时间相关性,并同时捕获季节性仍然是一个挑战[Wu et al., 2021; Zhou et al., 2022]。由于Transformer for time series是深度学习领域的一个新兴领域,对Transformer for time series进行系统、全面的研究将对时间序列学界大有裨益。我们注意到,存在一些关于时间序列深度学习的综述,包括预测[Lim和Zohren, 2021;Benidis等人,2020年;Torres et al., 2021],分类[Ismail Fawaz et al., 2019], anomaly detection [Choi et al., 2021; Blazquez-Garc ´ ´ıa et al., 2021]和数据增强[Wen et al., 2021b],但很少或没有对时间序列的Transformers 进行深入分析。

在本文中,我们旨在通过总结现有的时间序列Transformers来填补上述空白。具体来说,我们首先简要介绍了普通的Transformer,然后从网络修改和应用领域的角度提出了一种新的时间序列Transformer分类。对于网络修改,我们考虑了针对时间序列数据优化的transformer的低层模块调整和高层架构改进。在应用方面,我们总结和分析了用于流行时间序列任务的transformer,包括预测、异常检测和分类。对于每个时间系列的《Transformers》,我们都分析了它的见解、优势以及局限性。为了提供如何在时间序列中使用transformer的实用指南,我们进一步对时间序列transformer进行了一些实证研究,包括稳健性分析、模型规模分析和季节趋势分解分析。最后,我们提出并讨论未来可能的发展方向,包括时间序列Transformers的归纳偏差,时间序列Transformers和GNN,时间序列Transformers的预训练,以及时间序列Transformers和NAS。据我们所知,本文是第一次全面系统地总结了Transformers在时间序列数据建模方面的最新进展。我们希望这个综述将点燃对时间系列Transformers的进一步研究兴趣。

https://arxiv.org/abs/2202.07125

成为VIP会员查看完整内容
126

相关内容

时间序列(或称动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。经济数据中大多数以时间序列的形式给出。根据观察时间的不同,时间序列中的时间可以是年份、季度、月份或其他任何时间形式。
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
44+阅读 · 2021年9月27日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
84+阅读 · 2020年12月25日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
134+阅读 · 2020年12月20日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
182+阅读 · 2020年8月6日
专知会员服务
102+阅读 · 2020年3月12日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
学界 | 综述论文:四大类深度迁移学习
机器之心
16+阅读 · 2018年9月15日
就喜欢看综述论文:情感分析中的深度学习
机器之心
13+阅读 · 2018年1月26日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
3+阅读 · 2022年4月19日
Vision-and-Language Pretrained Models: A Survey
Arxiv
3+阅读 · 2022年4月15日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
15+阅读 · 2019年4月4日
VIP会员
相关基金
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
3+阅读 · 2022年4月19日
Vision-and-Language Pretrained Models: A Survey
Arxiv
3+阅读 · 2022年4月15日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
15+阅读 · 2019年4月4日
微信扫码咨询专知VIP会员