Time series forecasting based on deep architectures has been gaining popularity in recent years due to their ability to model complex non-linear temporal dynamics. The recurrent neural network is one such model capable of handling variable-length input and output. In this paper, we leverage recent advances in deep generative models and the concept of state space models to propose a stochastic adaptation of the recurrent neural network for multistep-ahead time series forecasting, which is trained with stochastic gradient variational Bayes. In our model design, the transition function of the recurrent neural network, which determines the evolution of the hidden states, is stochastic rather than deterministic as in a regular recurrent neural network; this is achieved by incorporating a latent random variable into the transition process which captures the stochasticity of the temporal dynamics. Our model preserves the architectural workings of a recurrent neural network for which all relevant information is encapsulated in its hidden states, and this flexibility allows our model to be easily integrated into any deep architecture for sequential modelling. We test our model on a wide range of datasets from finance to healthcare; results show that the stochastic recurrent neural network consistently outperforms its deterministic counterpart.


翻译:基于深层结构的时间序列预测近年来越来越受欢迎,因为它们有能力模拟复杂的非线性时间动态。 经常性神经网络是能够处理可变长度输入和输出的模型之一。 在本文中,我们利用最近深层基因模型的进展和国家空间模型的概念来提出对经常性神经网络进行多步头时间序列预测的随机调整,该神经网络经过了对梯度梯度变化波段的培训。 在我们的模型设计中,决定隐藏状态演变的经常性神经网络的过渡功能是随机的,而不是确定性的,就像在经常性经常性神经网络中那样;这是通过将潜在的随机变量纳入过渡进程来实现的。我们模型保存了一个经常性神经网络的建筑工作,所有相关信息都被封存在其隐藏状态中,这种灵活性使我们的模型很容易融入任何深层的序列建模结构。我们测试了从金融到卫生保健的广泛数据集的模型;其结果显示,其反复的神经网络具有稳定性。

0
下载
关闭预览

相关内容

循环神经网络(RNN)是一类人工神经网络,其中节点之间的连接沿时间序列形成有向图。 这使其表现出时间动态行为。 RNN源自前馈神经网络,可以使用其内部状态(内存)来处理可变长度的输入序列。这使得它们适用于诸如未分段的,连接的手写识别或语音识别之类的任务。
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
【推荐】RNN最新研究进展综述
机器学习研究会
25+阅读 · 2018年1月6日
Simple Recurrent Unit For Sentence Classification
哈工大SCIR
6+阅读 · 2017年11月29日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
1+阅读 · 2021年8月26日
Arxiv
35+阅读 · 2021年1月27日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
3+阅读 · 2018年10月25日
LARNN: Linear Attention Recurrent Neural Network
Arxiv
5+阅读 · 2018年8月16日
Recurrent Fusion Network for Image Captioning
Arxiv
3+阅读 · 2018年7月31日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
【推荐】RNN最新研究进展综述
机器学习研究会
25+阅读 · 2018年1月6日
Simple Recurrent Unit For Sentence Classification
哈工大SCIR
6+阅读 · 2017年11月29日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Arxiv
1+阅读 · 2021年8月26日
Arxiv
35+阅读 · 2021年1月27日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
3+阅读 · 2018年10月25日
LARNN: Linear Attention Recurrent Neural Network
Arxiv
5+阅读 · 2018年8月16日
Recurrent Fusion Network for Image Captioning
Arxiv
3+阅读 · 2018年7月31日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Top
微信扫码咨询专知VIP会员