The Pachinko Allocation Machine (PAM) is a deep topic model that allows representing rich correlation structures among topics by a directed acyclic graph over topics. Because of the flexibility of the model, however, approximate inference is very difficult. Perhaps for this reason, only a small number of potential PAM architectures have been explored in the literature. In this paper we present an efficient and flexible amortized variational inference method for PAM, using a deep inference network to parameterize the approximate posterior distribution in a manner similar to the variational autoencoder. Our inference method produces more coherent topics than state-of-art inference methods for PAM while being an order of magnitude faster, which allows exploration of a wider range of PAM architectures than have previously been studied.


翻译:Pachinko分配机器(PAM)是一个深层次的专题模型,它通过一个定向的单环图,代表各专题之间的丰富关联结构。然而,由于该模型的灵活性,大概的推论非常困难。也许由于这个原因,文献中只探讨了少数潜在的PAM结构。在本文件中,我们提出了一个高效和灵活的PAM摊销变异推论方法,利用一个深度推论网络,以与变式自动电解器类似的方式对近似远地点分布进行参数化。我们的推论方法比PAM的最新推论方法产生更为一致的主题,而PAM的推论方法则要快得多,这样可以探索比以前研究的更广泛的PAM结构。

8
下载
关闭预览

相关内容

PAM:Passive and Active Measurement Conference。 Explanation:被动和主动测量会议。 Publisher:Springer。 SIT: http://dblp.uni-trier.de/db/conf/pam/
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年10月11日
Arxiv
15+阅读 · 2018年4月5日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
5+阅读 · 2018年1月16日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
3+阅读 · 2015年5月16日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
3+阅读 · 2018年10月11日
Arxiv
15+阅读 · 2018年4月5日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
5+阅读 · 2018年1月16日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
3+阅读 · 2015年5月16日
Top
微信扫码咨询专知VIP会员