建模的一个核心目标是帮助我们理解周围的世界,但通常我们希望建模的现象只能间接观察到。例如,我们经常通过它们对周围物体产生的引力效应来检测黑洞。未观察到的现象通常使用与观察到的变量存在统计关系但从未直接观察到的潜变量来建模。这些潜变量模型是一种强大的形式主义,可以实现数据的简洁和可解释表示,但在变量之间的关系复杂时很难使用。 本论文开发了一种适用于具有非线性函数参数化变量之间依赖关系的潜变量模型的拟合技术,例如深度神经网络或非线性微分方程。非线性依赖关系使得解析方法变得不可行,本论文的主要重点是将蒙特卡罗文献中的抽样算法扩展到深度生成模型中的工作。

具体来说,本论文侧重于对顺序数据进行建模,如神经电压跟踪或语音音频。首先,我介绍了一种名为FIVO的方法,用于使用滤波顺序蒙特卡罗来拟合非线性顺序潜变量模型,并使用它来改进语音音频和钢琴谱的模型。然后,我开发了一种名为SIXO的基于平滑的FIVO扩展,成功地拟合了神经膜电位的生物物理模型。接下来,我介绍了NAS-X,这是SIXO的扩展,适用于离散潜变量。最后,我开发了用于嵌入式抽样算法的拟合模型的方法,并与基于能量的建模建立了联系。

这些方法为非线性潜变量模型中的推断和学习建立了新的标准。例如,在霍奇金-赫胥黎神经膜电位模型中,NAS-X和SIXO相对于以前的方法实现了32倍的推断对数似然度的改进。改进的推断性能导致了参数学习方面的下游收益,并且能够拟合基于具有数百个参数的非线性微分方程的潜变量模型。总的来说,本论文扩展了蒙特卡罗算法,以解决序列建模中的难题。

成为VIP会员查看完整内容
24

相关内容

斯坦福大学(StanfordUniversity)位于加利福尼亚州,临近旧金山,占地35平方公里,是美国面积第二大的大学。它被公认为世界上最杰出的大学之一,相比美国东部的常春藤盟校,特别是哈佛大学、耶鲁大学,斯坦福大学虽然历史较短,但无论是学术水准还是其他方面都能与常春藤名校相抗衡。斯坦福大学企业管理研究所和法学院在美国是数一数二的,美国最高法院的9个大法官,有6个是从斯坦福大学的法学院毕业的。
专知会员服务
49+阅读 · 2021年6月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
140+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
342+阅读 · 2023年3月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员