【斯坦福博士论文】非线性潜变量模型的推理和学习，180页pdf

建模的一个核心目标是帮助我们理解周围的世界，但通常我们希望建模的现象只能间接观察到。例如，我们经常通过它们对周围物体产生的引力效应来检测黑洞。未观察到的现象通常使用与观察到的变量存在统计关系但从未直接观察到的潜变量来建模。这些潜变量模型是一种强大的形式主义，可以实现数据的简洁和可解释表示，但在变量之间的关系复杂时很难使用。 本论文开发了一种适用于具有非线性函数参数化变量之间依赖关系的潜变量模型的拟合技术，例如深度神经网络或非线性微分方程。非线性依赖关系使得解析方法变得不可行，本论文的主要重点是将蒙特卡罗文献中的抽样算法扩展到深度生成模型中的工作。

具体来说，本论文侧重于对顺序数据进行建模，如神经电压跟踪或语音音频。首先，我介绍了一种名为FIVO的方法，用于使用滤波顺序蒙特卡罗来拟合非线性顺序潜变量模型，并使用它来改进语音音频和钢琴谱的模型。然后，我开发了一种名为SIXO的基于平滑的FIVO扩展，成功地拟合了神经膜电位的生物物理模型。接下来，我介绍了NAS-X，这是SIXO的扩展，适用于离散潜变量。最后，我开发了用于嵌入式抽样算法的拟合模型的方法，并与基于能量的建模建立了联系。

这些方法为非线性潜变量模型中的推断和学习建立了新的标准。例如，在霍奇金-赫胥黎神经膜电位模型中，NAS-X和SIXO相对于以前的方法实现了32倍的推断对数似然度的改进。改进的推断性能导致了参数学习方面的下游收益，并且能够拟合基于具有数百个参数的非线性微分方程的潜变量模型。总的来说，本论文扩展了蒙特卡罗算法，以解决序列建模中的难题。