状态空间模型正在成为解决序列问题的主流模型类别,许多模型依赖于HiPPO框架来初始化其动态。然而,HiPPO框架根本假设数据是无噪声的,而这一假设在实际应用中常常被违背。我们扩展了HiPPO理论,考虑了测量噪声,并推导出一种面向不确定性的状态空间模型动态初始化方法。在我们的分析中,我们将HiPPO解释为一个线性随机控制问题,其中数据作为无噪声的控制信号输入。然后,我们将问题重新表述,使得数据成为潜在系统的噪声输出,并得出一种替代的动态初始化方法,该方法从数据中推断潜在系统的后验分布,而不会增加计算时间。我们的实验表明,我们的初始化方法提高了状态空间模型对噪声的抗干扰能力,无论是在训练还是推理阶段。

成为VIP会员查看完整内容
4

相关内容

【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【CVPR2024】非自回归序列到序列的视觉-语言模型
专知会员服务
22+阅读 · 2024年3月5日
【TPAMI2023】面向双任务对话语言理解的关系时序图推理
专知会员服务
23+阅读 · 2023年7月5日
【NeurIPS2022】黎曼扩散模型
专知会员服务
42+阅读 · 2022年9月15日
【ICML2022】基于自适应上下文池化的高效表示学习
专知会员服务
20+阅读 · 2022年7月9日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
16+阅读 · 2021年12月7日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
22+阅读 · 2021年7月31日
专知会员服务
50+阅读 · 2021年6月2日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
464+阅读 · 2023年3月31日
Arxiv
18+阅读 · 2021年3月16日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【CVPR2024】非自回归序列到序列的视觉-语言模型
专知会员服务
22+阅读 · 2024年3月5日
【TPAMI2023】面向双任务对话语言理解的关系时序图推理
专知会员服务
23+阅读 · 2023年7月5日
【NeurIPS2022】黎曼扩散模型
专知会员服务
42+阅读 · 2022年9月15日
【ICML2022】基于自适应上下文池化的高效表示学习
专知会员服务
20+阅读 · 2022年7月9日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
16+阅读 · 2021年12月7日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
22+阅读 · 2021年7月31日
专知会员服务
50+阅读 · 2021年6月2日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员