Successfully training Variational Autoencoders (VAEs) with a hierarchy of discrete latent variables remains an area of active research. Vector-Quantised VAEs are a powerful approach to discrete VAEs, but naive hierarchical extensions can be unstable when training. Leveraging insights from classical methods of inference we introduce \textit{Relaxed-Responsibility Vector-Quantisation}, a novel way to parameterise discrete latent variables, a refinement of relaxed Vector-Quantisation that gives better performance and more stable training. This enables a novel approach to hierarchical discrete variational autoencoders with numerous layers of latent variables (here up to 32) that we train end-to-end. Within hierarchical probabilistic deep generative models with discrete latent variables trained end-to-end, we achieve state-of-the-art bits-per-dim results for various standard datasets. % Unlike discrete VAEs with a single layer of latent variables, we can produce samples by ancestral sampling: it is not essential to train a second autoregressive generative model over the learnt latent representations to then sample from and then decode. % Moreover, that latter approach in these deep hierarchical models would require thousands of forward passes to generate a single sample. Further, we observe different layers of our model become associated with different aspects of the data.


翻译:成功培训离散潜伏变量等级的自动自动计算器(VAEs)是积极研究的一个领域。 矢量-量化自控自动计算器是分解VAEs的有力方法,但当培训时,天性级扩展可能不稳定。 利用传统推论方法的感知,我们引入了\textit{放松反应的矢量-量化},这是将离散潜伏变量参数参数化的一种新颖方法,改进了放松的矢量-量化,从而产生更好的性能和更稳定的培训。 允许对分级离散自定义自定义自动计算器采取新办法,该方法具有许多层次的潜伏变量(目前为32个),我们培训端到端。在分级性稳定深度变异模型中,我们引入了离散潜伏变量端到端,我们为各种标准数据集取得了最先进的位数-位结果。% 与离异的VAE- Es(单个潜变量层)不同,我们可以通过祖采样模型进行抽样:它对于从先导的样本到先导到后先导到后先导的先导式,不是必要的。 需要将这些先导到先导到先导到先导到先导的先导到先导的先导到先导到先导到先导到先导到后导的自我演制导。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
4+阅读 · 2018年4月10日
Arxiv
4+阅读 · 2018年4月9日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
3+阅读 · 2017年7月6日
VIP会员
相关VIP内容
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员