【哥伦比亚大学博士论文】深度概率图建模,147页pdf阐述深度学习与主题模型结合

2021 年 4 月 28 日 专知

概率图建模(PGM)提供了一个框架,以设计一个可解释的生成过程的数据和表达不确定性的未知数。这使得PGM对于理解数据背后的现象和决策非常有用。在可解释推理是关键的领域内,PGM取得了巨大的成功,例如市场营销、医学、神经科学和社会科学。然而,PGM往往缺乏灵活性,这阻碍了它在建模大规模高维复杂数据和执行需要灵活性的任务(例如在视觉和语言应用程序中)时的使用。


深度学习(DL)是另一个从数据中建模和学习的框架,近年来取得了巨大的成功。DL功能强大,具有很大的灵活性,但缺乏PGM的可解释性和校准性。


本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。DPGM带来了从数据中学习的新方法,这些方法展示了PGM和DL的优点。


我们在PGM中使用DL来构建具有可解释潜在结构的灵活模型。我们提出一系列模型扩展指数族主成分分析(EF-PCA),使用神经网络提高预测性能,同时加强潜在因素的可解释性。我们引入的另一个模型类支持在建模顺序数据时考虑长期依赖关系,这在使用纯DL或PGM方法时是一个挑战。该序列数据模型类已成功应用于语言建模、情感分析的无监督文档表示学习、会话建模和医院再入院预测的患者表示学习。最后,DPGM成功地解决了概率主题模型的几个突出问题。


在PGM中利用DL也带来了学习复杂数据的新算法。例如,我们开发了熵正则化对抗学习,这是一种与PGM中使用的传统最大似然方法不同的学习范式。从DL的角度来看,熵正则化对抗学习为生成式对抗网络长期存在的模式崩溃问题提供了一种解决方案。


https://academiccommons.columbia.edu/doi/10.7916/d8-gt4e-6m45




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“D147” 就可以获取【哥伦比亚大学博士论文】深度概率图建模147页pdf》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

概率图模型是图灵奖获得者Pearl开发出来的用图来表示变量概率依赖关系的理论。概率图模型理论分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
85+阅读 · 2021年4月27日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
213+阅读 · 2020年10月8日
【Haute-Alsace博士论文】深度学习时序分类,175页pdf
专知会员服务
99+阅读 · 2020年10月4日
CMU博士论文:可微优化机器学习建模
专知会员服务
52+阅读 · 2019年10月26日
深度多模态表示学习综述论文,22页pdf
专知
27+阅读 · 2020年6月21日
【新书册】贝叶斯神经网络,41页pdf
专知
25+阅读 · 2020年6月3日
零样本图像识别综述论文
专知
20+阅读 · 2020年4月4日
「PPT」深度学习中的不确定性估计
专知
25+阅读 · 2019年7月20日
A causal view on compositional data
Arxiv
0+阅读 · 2021年6月21日
Arxiv
5+阅读 · 2020年12月10日
Deep Anomaly Detection with Outlier Exposure
Arxiv
17+阅读 · 2018年12月21日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员