This paper introduces the $f$-divergence variational inference ($f$-VI) that generalizes variational inference to all $f$-divergences. Initiated from minimizing a crafty surrogate $f$-divergence that shares the statistical consistency with the $f$-divergence, the $f$-VI framework not only unifies a number of existing VI methods, e.g. Kullback-Leibler VI, R\'{e}nyi's $\alpha$-VI, and $\chi$-VI, but offers a standardized toolkit for VI subject to arbitrary divergences from $f$-divergence family. A general $f$-variational bound is derived and provides a sandwich estimate of marginal likelihood (or evidence). The development of the $f$-VI unfolds with a stochastic optimization scheme that utilizes the reparameterization trick, importance weighting and Monte Carlo approximation; a mean-field approximation scheme that generalizes the well-known coordinate ascent variational inference (CAVI) is also proposed for $f$-VI. Empirical examples, including variational autoencoders and Bayesian neural networks, are provided to demonstrate the effectiveness and the wide applicability of $f$-VI.


翻译:本文介绍了“美元-美元-美元-六”的“美元-美元-六”的波动变率推导法(f-美元-六),该法将变差推导至所有美元-美元-美元-振幅。从尽量减少与美元-振幅(f-digence)具有统计一致性的巧妙代用价(f-美元-振幅)开始,美元-VI框架不仅统一了现有的若干六种方法,例如“Kullback-Leibel VI”、“R\'{{{e}nii's dalpha$-六”和“$-chi$-六”等,但为六国提供了一个标准化的“六国”适用性工具包,但与美元-美元-振幅家族有任意的分歧。“美元-美元-振幅”的通用代用工具是“美元-美元-波动约束”的,并提供了边际可能性(或证据)的三明治估计。美元-六国-六国-六国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国-国

0
下载
关闭预览

相关内容

【DeepMind】强化学习教程,83页ppt
专知会员服务
151+阅读 · 2020年8月7日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
自动结构变分推理,Automatic structured variational inference
专知会员服务
38+阅读 · 2020年2月10日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年5月30日
Arxiv
0+阅读 · 2021年5月29日
Arxiv
1+阅读 · 2021年5月27日
Arxiv
110+阅读 · 2020年2月5日
Arxiv
3+阅读 · 2018年1月10日
VIP会员
相关资讯
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员