概率图建模(PGM)提供了一个框架,以设计一个可解释的生成过程的数据和表达不确定性的未知数。这使得PGM对于理解数据背后的现象和决策非常有用。在可解释推理是关键的领域内,PGM取得了巨大的成功,例如市场营销、医学、神经科学和社会科学。然而,PGM往往缺乏灵活性,这阻碍了它在建模大规模高维复杂数据和执行需要灵活性的任务(例如在视觉和语言应用程序中)时的使用。

深度学习(DL)是另一个从数据中建模和学习的框架,近年来取得了巨大的成功。DL功能强大,具有很大的灵活性,但缺乏PGM的可解释性和校准性。

本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。DPGM带来了从数据中学习的新方法,这些方法展示了PGM和DL的优点。

我们在PGM中使用DL来构建具有可解释潜在结构的灵活模型。我们提出一系列模型扩展指数族主成分分析(EF-PCA),使用神经网络提高预测性能,同时加强潜在因素的可解释性。我们引入的另一个模型类支持在建模顺序数据时考虑长期依赖关系,这在使用纯DL或PGM方法时是一个挑战。该序列数据模型类已成功应用于语言建模、情感分析的无监督文档表示学习、会话建模和医院再入院预测的患者表示学习。最后,DPGM成功地解决了概率主题模型的几个突出问题。

在PGM中利用DL也带来了学习复杂数据的新算法。例如,我们开发了熵正则化对抗学习,这是一种与PGM中使用的传统最大似然方法不同的学习范式。从DL的角度来看,熵正则化对抗学习为生成式对抗网络长期存在的模式崩溃问题提供了一种解决方案。

成为VIP会员查看完整内容
62

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
44+阅读 · 2021年4月11日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
169+阅读 · 2020年10月8日
【Haute-Alsace博士论文】深度学习时序分类,175页pdf
专知会员服务
88+阅读 · 2020年10月4日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
72+阅读 · 2020年6月19日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
242+阅读 · 2020年6月16日
计算所网络数据实验室3篇论文被WSDM2020录用
中国科学院网络数据重点实验室
21+阅读 · 2019年10月11日
【学界】基于生成对抗网络的低秩图像生成方法
GAN生成式对抗网络
9+阅读 · 2018年7月13日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
19+阅读 · 2017年7月9日
Arxiv
0+阅读 · 2021年6月16日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
5+阅读 · 2019年7月11日
VIP会员
微信扫码咨询专知VIP会员