【哥伦比亚大学博士论文】深度概率图建模147页pdf

概率图建模(PGM)提供了一个框架，以设计一个可解释的生成过程的数据和表达不确定性的未知数。这使得PGM对于理解数据背后的现象和决策非常有用。在可解释推理是关键的领域内，PGM取得了巨大的成功，例如市场营销、医学、神经科学和社会科学。然而，PGM往往缺乏灵活性，这阻碍了它在建模大规模高维复杂数据和执行需要灵活性的任务(例如在视觉和语言应用程序中)时的使用。

深度学习(DL)是另一个从数据中建模和学习的框架，近年来取得了巨大的成功。DL功能强大，具有很大的灵活性，但缺乏PGM的可解释性和校准性。

本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。DPGM带来了从数据中学习的新方法，这些方法展示了PGM和DL的优点。

我们在PGM中使用DL来构建具有可解释潜在结构的灵活模型。我们提出一系列模型扩展指数族主成分分析(EF-PCA)，使用神经网络提高预测性能，同时加强潜在因素的可解释性。我们引入的另一个模型类支持在建模顺序数据时考虑长期依赖关系，这在使用纯DL或PGM方法时是一个挑战。该序列数据模型类已成功应用于语言建模、情感分析的无监督文档表示学习、会话建模和医院再入院预测的患者表示学习。最后，DPGM成功地解决了概率主题模型的几个突出问题。

在PGM中利用DL也带来了学习复杂数据的新算法。例如，我们开发了熵正则化对抗学习，这是一种与PGM中使用的传统最大似然方法不同的学习范式。从DL的角度来看，熵正则化对抗学习为生成式对抗网络长期存在的模式崩溃问题提供了一种解决方案。