We develop amortized population Gibbs (APG) samplers, a class of scalable methods that frames structured variational inference as adaptive importance sampling. APG samplers construct high-dimensional proposals by iterating over updates to lower-dimensional blocks of variables. We train each conditional proposal by minimizing the inclusive KL divergence with respect to the conditional posterior. To appropriately account for the size of the input data, we develop a new parameterization in terms of neural sufficient statistics. Experiments show that APG samplers can train highly structured deep generative models in an unsupervised manner, and achieve substantial improvements in inference accuracy relative to standard autoencoding variational methods.


翻译:我们开发了分解人口Gibbs(APG)采样器,这是一组可缩放的方法,将结构化变异推论作为适应性重要取样。APG采样器通过对低维变量区块的更新进行迭代来构建高维建议。我们通过最大限度地减少有条件后继器的包容性 KL差异来培训每一项有条件建议。为了适当计算输入数据的规模,我们开发了一个新的神经充足统计数据参数。实验显示,APG采样器可以以不受监督的方式培养高度结构化的深层基因化模型,并大大改进相对于标准的自动编码变异方法的推断准确性。

0
下载
关闭预览

相关内容

Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2018年10月3日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员