【AAAI2021最佳论文】基于高效 Transformer 的长时间序列预测

许多实际应用需要对长序列时间序列进行预测，例如用电计划。长序列时间序列预测（LSTF）对模型的预测能力要求很高，即能够高效捕获输出和输入之间精确的长程依赖。近年来的研究表明，Transformer 具有提高预测能力的潜力。然而，Transformer 存在几个严重的问题，因而无法直接应用于 LSTF，比如二次时间复杂度、高内存使用率以及编码器 - 解码器架构的固有局限。

为解决这些问题，该研究为 LSTF 设计了一个基于高效 transformer 的模型——Informer，该模型具备三个特征：

1）ProbSparse 自注意力机制，其时间复杂度和内存使用达到 O(L log L)，在序列依赖对齐方面具有不错的性能；

2）自注意力蒸馏通过将级联层输入减半来突出注意力，并且能够高效地处理极长的输入序列；

3）尽管生成风格解码器在概念上非常简单，但它会在一次前向操作中预测较长的时序序列，而不是逐步预测，这极大地提高了长序列预测的推断速度。

Informer 模型图示。

该研究在四个大规模数据集上进行了大量实验，结果表明 Informer 显著优于现有的方法，为 LSTF 问题提供了一种新的解决方案。

https://www.zhuanzhi.ai/paper/341ed820fc232313cb1f088c002828c0

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“Informer” 可以获取《【AAAI2021最佳论文】基于高效 Transformer 的长时间序列预测》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源