【MIT博士论文】通过最优传输不匹配措施的鲁棒贝叶斯推断:应用和算法

2022 年 7 月 14 日 专知


在许多问题中,模型不规范是可靠推理的主要障碍。在贝叶斯设置中,模型的错误描述可能导致不一致,以及与任何数量的兴趣相关的后验分布的过度自信,即不确定性的低报告。

本文开发了一个贝叶斯框架,以减少在涉及时间序列数据的推断问题中产生的一种模型错误规范的影响:观测数据和建模数据之间未建模的时间规整 。涉及动力系统、信号处理和更普遍的功能数据的推断问题可能会受到这种类型的错误说明的影响。地震学中的逆问题是这类问题的一个重要例子:在描述复杂的、空间上不均匀的地震波传播速度方面的不准确性会导致其建模的时间演化的错误。数据不足以约束这些传播速度,因此我们转而寻求对模型误差的鲁棒性。对我们的方法有帮助的是使用传输-拉格朗日(TL)距离作为损失/不匹配函数:这样的距离可以被理解为“图空间”的最佳传输距离,它们自然地忽略了对时间扭曲更敏感的数据的某些特征。我们表明,与标准的失配函数相比,它们产生的后验分布既不偏置,也不分散。

特别地,我们将矩张量反演(一种地震反演问题)作为主要的激励应用,并通过各种统计和物理指标证明了TL损失的反演性能的改善,用于一系列日益复杂的反演和错误描述的场景。与此同时,我们讨论了几个更广泛的方法论问题。首先,在缺乏基于TL的可能性的可处理表达的情况下,我们使用吉布斯后验的概念构建了一致的前验到后验更新。然后,我们通过一些统计评分规则和等级统计,以及特定应用的物理标准,通过更广泛的探索,在错误指定的设置中,什么构成“好的”推断,比较不同损失函数对吉布斯后验的影响。为了将我们的广义(吉布斯)贝叶斯方法与更传统的贝叶斯设置联系起来,我们还对随机噪声信号之间的传输-拉格朗日距离的统计特性进行了分析和数值研究。


作为对贝叶斯反演的补充,我们还证明了频率回归最优传输距离的效用。我们研究了带有TL损失的线性回归模型,描述了相关的混合整数优化问题的几何形状,并提出了利用其底层结构的专用算法。然后我们比较TL线性回归和经典线性回归在几个应用。最后,我们讨论了TL距离的潜在泛化,包括通过时间序列嵌入的“shape”概念,以及拟议框架的可能扩展到其他形式的模型错误说明。


https://dspace.mit.edu/handle/1721.1/143171



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“RBOT” 就可以获取【MIT博士论文】通过最优传输不匹配措施的鲁棒贝叶斯推断:应用和算法》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
3

相关内容

《实现稳健和弹性机器学习》243页CMU博士论文
专知会员服务
32+阅读 · 2022年5月12日
Berkeley博士论文《反馈系统中的可信机器学习》203页pdf
专知会员服务
38+阅读 · 2022年3月25日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
125+阅读 · 2022年1月16日
逆优化: 理论与应用
专知会员服务
36+阅读 · 2021年9月13日
【MIT博士论文】数据高效强化学习,176页pdf
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
9+阅读 · 2022年1月16日
【博士论文】基于冲量的加速优化算法
专知
7+阅读 · 2021年11月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月13日
Arxiv
0+阅读 · 2022年9月12日
Arxiv
0+阅读 · 2022年9月8日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员