Time series has wide applications in the real world and is known to be difficult to forecast. Since its statistical properties change over time, its distribution also changes temporally, which will cause severe distribution shift problem to existing methods. However, it remains unexplored to model the time series in the distribution perspective. In this paper, we term this as Temporal Covariate Shift (TCS). This paper proposes Adaptive RNNs (AdaRNN) to tackle the TCS problem by building an adaptive model that generalizes well on the unseen test data. AdaRNN is sequentially composed of two novel algorithms. First, we propose Temporal Distribution Characterization to better characterize the distribution information in the TS. Second, we propose Temporal Distribution Matching to reduce the distribution mismatch in TS to learn the adaptive TS model. AdaRNN is a general framework with flexible distribution distances integrated. Experiments on human activity recognition, air quality prediction, and financial analysis show that AdaRNN outperforms the latest methods by a classification accuracy of 2.6% and significantly reduces the RMSE by 9.0%. We also show that the temporal distribution matching algorithm can be extended in Transformer structure to boost its performance.


翻译:时间序列在现实世界中有着广泛的应用,并且已知难以预测。由于其统计属性随时间而变化,其分布也随时间而变化,从而导致分配转换到现有方法的严重问题。然而,它仍然未探索在分布角度上模拟时间序列。在本文件中,我们称它为时 Covalt Shift(TSS) 。本文提出适应性 RNNS (AdaRNNNN), 以解决TCS问题, 其方法是建立一个适应性模型, 将隐见的测试数据加以概括化。 AdaRNNNN(AdaRNNNN) 由两个新的算法相继组成。 首先,我们提出时候分配特性, 以更好地描述TS的分发信息。 其次,我们提议时候分配配配配配配, 以学习适应性TS模式。 AdaRNNNNN(T) 是一个具有灵活分布距离的通用框架。 有关人类活动识别、空气质量预测和金融分析的实验显示, AdaRNNNN用2.6%的分类精度比最新方法优于2.6%的分类精度, 将RME值大幅降低RME 9.0。我们还显示时间分布配值的值可扩展为气压值。

0
下载
关闭预览

相关内容

专知会员服务
230+阅读 · 2020年12月15日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
已删除
将门创投
4+阅读 · 2019年9月10日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
Time Series Forecasting Using Manifold Learning
Arxiv
0+阅读 · 2021年10月7日
Arxiv
0+阅读 · 2021年10月7日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年3月15日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2019年9月10日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
相关论文
Time Series Forecasting Using Manifold Learning
Arxiv
0+阅读 · 2021年10月7日
Arxiv
0+阅读 · 2021年10月7日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年3月15日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Top
微信扫码咨询专知VIP会员