扩散模型近期在时间序列预测中展现出良好前景,尤其是在概率预测方面。然而,与基于回归的方法相比,它们往往无法在点估计性能上达到最新水平。这一局限主要源于两个方面:其一是难以提供足够的上下文偏置(contextual bias)以追踪分布漂移;其二是在输出多样性与点预测所需的稳定性与精确性之间难以取得平衡。现有基于扩散的研究大多侧重于概率框架下的全分布建模,通常依赖似然最大化目标,而缺乏面向高精度点估计的专门策略。此外,其他已有的点预测扩散方法通常依赖预训练或联合训练的成熟模型来提供上下文偏置,从而牺牲了扩散模型的生成灵活性。

为应对这些挑战,我们提出了 SimDiff,一种单阶段、端到端的框架。SimDiff 使用一个统一的 Transformer 网络,并对其进行精心设计,使其同时担任去噪器(denoiser)与预测器(predictor)的角色,从而无需外部预训练或联合训练的回归器。SimDiff 利用模型内在的输出多样性,并通过多次推理集成提升均方误差(MSE)精度,从而实现了最先进的点估计性能。包括归一化无关性(normalization independence)与中位数-均值估计器(median-of-means estimator)在内的关键创新进一步增强了模型的适应性与稳定性。大量实验结果表明,SimDiff 在时间序列点预测任务上显著优于现有方法。

成为VIP会员查看完整内容
12

相关内容

【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【NeurIPS2024】用于时间序列预测的检索增强扩散模型
专知会员服务
24+阅读 · 2024年10月25日
【ICML2024】双曲几何潜在扩散模型用于图生成
专知会员服务
42+阅读 · 2024年5月8日
【AAAI2024】面向序列推荐的插件扩散模型
专知会员服务
27+阅读 · 2024年1月9日
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【ICLR2022】分布外泛化的不确定性建模
专知会员服务
43+阅读 · 2022年2月11日
【AAAI2021】面向交通需求预测的耦合层图卷积
专知会员服务
47+阅读 · 2021年1月31日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【NeurIPS2024】用于时间序列预测的检索增强扩散模型
专知会员服务
24+阅读 · 2024年10月25日
【ICML2024】双曲几何潜在扩散模型用于图生成
专知会员服务
42+阅读 · 2024年5月8日
【AAAI2024】面向序列推荐的插件扩散模型
专知会员服务
27+阅读 · 2024年1月9日
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【ICLR2022】分布外泛化的不确定性建模
专知会员服务
43+阅读 · 2022年2月11日
【AAAI2021】面向交通需求预测的耦合层图卷积
专知会员服务
47+阅读 · 2021年1月31日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员