Multi-task learning requires accurate identification of the correlations between tasks. In real-world time-series, tasks are rarely perfectly temporally aligned; traditional multi-task models do not account for this and subsequent errors in correlation estimation will result in poor predictive performance and uncertainty quantification. We introduce a method that automatically accounts for temporal misalignment in a unified generative model that improves predictive performance. Our method uses Gaussian processes (GPs) to model the correlations both within and between the tasks. Building on the previous work by Kazlauskaiteet al. [2019], we include a separate monotonic warp of the input data to model temporal misalignment. In contrast to previous work, we formulate a lower bound that accounts for uncertainty in both the estimates of the warping process and the underlying functions. Also, our new take on a monotonic stochastic process, with efficient path-wise sampling for the warp functions, allows us to perform full Bayesian inference in the model rather than MAP estimates. Missing data experiments, on synthetic and real time-series, demonstrate the advantages of accounting for misalignments (vs standard unaligned method) as well as modelling the uncertainty in the warping process(vs baseline MAP alignment approach).


翻译:多任务学习要求准确确定任务之间的关联。在现实世界的时间序列中,任务很少完全在时间上一致;传统的多任务模型没有考虑到这一点,因此,相关估计中后来的错误将导致预测性业绩差和不确定性的量化。我们引入了一种方法,在统一基因模型中自动说明时间错配,以提高预测性能。我们的方法使用高斯进程(GPs)来模拟任务内部和任务之间的相关性。根据Kazlauskaiteet al. [2019] 的以往工作,我们包括一个单独的输入数据单词拼凑,以模拟时间错配。与以往的工作相比,我们为扭曲过程和基本功能的不确定性制定了一个较低的组合。此外,我们的新采用一个单一的随机过程,为调和功能提供有效的路径性取样,使我们能够在模型中而不是MAP估计中进行全巴耶斯式的推断。在合成和真实的时间序列中缺少数据实验,以显示对调方法的不确定性进行会计的优势,作为调和调的基线方法。

0
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
专知会员服务
50+阅读 · 2020年12月14日
【2020新书】数据科学与机器学习导论,220页pdf
专知会员服务
80+阅读 · 2020年9月14日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
119+阅读 · 2019年12月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Temporal Attention Augmented Transformer Hawkes Process
Arxiv
0+阅读 · 2021年12月29日
Arxiv
0+阅读 · 2021年12月24日
Query Embedding on Hyper-relational Knowledge Graphs
Arxiv
4+阅读 · 2021年6月17日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
3+阅读 · 2018年1月31日
VIP会员
相关论文
Temporal Attention Augmented Transformer Hawkes Process
Arxiv
0+阅读 · 2021年12月29日
Arxiv
0+阅读 · 2021年12月24日
Query Embedding on Hyper-relational Knowledge Graphs
Arxiv
4+阅读 · 2021年6月17日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
3+阅读 · 2018年1月31日
Top
微信扫码咨询专知VIP会员