Approximate inference in Bayesian deep networks exhibits a dilemma of how to yield high fidelity posterior approximations while maintaining computational efficiency and scalability. We tackle this challenge by introducing a novel variational structured approximation inspired by the Bayesian interpretation of Dropout regularization. Concretely, we focus on the inflexibility of the factorized structure in Dropout posterior and then propose an improved method called Variational Structured Dropout (VSD). VSD employs an orthogonal transformation to learn a structured representation on the variational Gaussian noise with plausible complexity, and consequently induces statistical dependencies in the approximate posterior. Theoretically, VSD successfully addresses the pathologies of previous Variational Dropout methods and thus offers a standard Bayesian justification. We further show that VSD induces an adaptive regularization term with several desirable properties which contribute to better generalization. Finally, we conduct extensive experiments on standard benchmarks to demonstrate the effectiveness of VSD over state-of-the-art variational methods on predictive accuracy, uncertainty estimation, and out-of-distribution detection.


翻译:巴伊西亚深层网络的近似推论表明,如何在保持计算效率和可缩放性的同时产生高度忠诚的后近似值,是一个两难的难题。我们通过采用一种由巴伊西亚对辍学规范化的解释所启发的新的变异结构近似值来应对这一挑战。具体地说,我们侧重于辍学后继体中因子结构化结构不灵活的问题,然后提出一个改进的方法,称为变式结构脱落(VSD)。VSD使用一个正方位转换方法来学习结构化地代表变异的高比值噪音,其复杂性似乎相当复杂,从而在近似后继体中产生统计依赖性。理论上,VSD成功地解决了先前静态脱轨方法的病理,从而提供了标准的巴伊西亚理由。我们进一步表明,VSD引出了适应性调整性调整性术语,其中有若干可取的属性,有助于更好地概括化。最后,我们对标准基准进行了广泛的实验,以证明VSD在预测准确性、不确定性估计和分配外检测方面对最新变异方法的有效性。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
123+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
241+阅读 · 2020年4月19日
自动结构变分推理,Automatic structured variational inference
专知会员服务
38+阅读 · 2020年2月10日
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2018年1月16日
VIP会员
相关资讯
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2018年1月16日
Top
微信扫码咨询专知VIP会员