在许多问题中,模型不规范是可靠推理的主要障碍。在贝叶斯设置中,模型的错误描述可能导致不一致,以及与任何数量的兴趣相关的后验分布的过度自信,即不确定性的低报告。 本文开发了一个贝叶斯框架,以减少在涉及时间序列数据的推断问题中产生的一种模型错误规范的影响:观测数据和建模数据之间未建模的时间规整。涉及动力系统、信号处理和更普遍的功能数据的推断问题可能会受到这种类型的错误说明的影响。地震学中的逆问题是这类问题的一个重要例子:在描述复杂的、空间上不均匀的地震波传播速度方面的不准确性会导致其建模的时间演化的错误。数据不足以约束这些传播速度,因此我们转而寻求对模型误差的鲁棒性。对我们的方法有帮助的是使用传输-拉格朗日(TL)距离作为损失/不匹配函数:这样的距离可以被理解为“图空间”的最佳传输距离,它们自然地忽略了对时间扭曲更敏感的数据的某些特征。我们表明,与标准的失配函数相比,它们产生的后验分布既不偏置,也不分散。

特别地,我们将矩张量反演(一种地震反演问题)作为主要的激励应用,并通过各种统计和物理指标证明了TL损失的反演性能的改善,用于一系列日益复杂的反演和错误描述的场景。与此同时,我们讨论了几个更广泛的方法论问题。首先,在缺乏基于TL的可能性的可处理表达的情况下,我们使用吉布斯后验的概念构建了一致的前验到后验更新。然后,我们通过一些统计评分规则和等级统计,以及特定应用的物理标准,通过更广泛的探索,在错误指定的设置中,什么构成“好的”推断,比较不同损失函数对吉布斯后验的影响。为了将我们的广义(吉布斯)贝叶斯方法与更传统的贝叶斯设置联系起来,我们还对随机噪声信号之间的传输-拉格朗日距离的统计特性进行了分析和数值研究。

作为对贝叶斯反演的补充,我们还证明了频率回归最优传输距离的效用。我们研究了带有TL损失的线性回归模型,描述了相关的混合整数优化问题的几何形状,并提出了利用其底层结构的专用算法。然后我们比较TL线性回归和经典线性回归在几个应用。最后,我们讨论了TL距离的潜在泛化,包括通过时间序列嵌入的“shape”概念,以及拟议框架的可能扩展到其他形式的模型错误说明。

https://dspace.mit.edu/handle/1721.1/143171

成为VIP会员查看完整内容
23

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【MIT博士论文】实用机器学习的高效鲁棒算法,142页pdf
专知会员服务
56+阅读 · 2022年9月7日
【MIT博士论文】数据高效强化学习,176页pdf
专知会员服务
85+阅读 · 2022年7月11日
【MIT博士论文】优化理论与机器学习实践
专知会员服务
89+阅读 · 2022年6月30日
《实现稳健和弹性机器学习》243页CMU博士论文
专知会员服务
32+阅读 · 2022年5月12日
【MIT博士论文】数据高效强化学习,176页pdf
【MIT博士论文】优化理论与机器学习实践
专知
2+阅读 · 2022年6月30日
为什么深度学习是非参数的?
THU数据派
1+阅读 · 2022年3月29日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Apartness relations between propositions
Arxiv
0+阅读 · 2022年9月8日
Psychophysical Machine Learning
Arxiv
0+阅读 · 2022年9月8日
Arxiv
0+阅读 · 2022年9月8日
CSKG: The CommonSense Knowledge Graph
Arxiv
18+阅读 · 2020年12月21日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员