This paper proposes a new type of generative model that is able to quickly learn a latent representation without an encoder. This is achieved using empirical Bayes to calculate the expectation of the posterior, which is implemented by initialising a latent vector with zeros, then using the gradient of the log-likelihood of the data with respect to this zero vector as new latent points. The approach has similar characteristics to autoencoders, but with a simpler architecture, and is demonstrated in a variational autoencoder equivalent that permits sampling. This also allows implicit representation networks to learn a space of implicit functions without requiring a hypernetwork, retaining their representation advantages across datasets. The experiments show that the proposed method converges faster, with significantly lower reconstruction error than autoencoders, while requiring half the parameters.


翻译:本文提出一种新的基因模型,能够在没有编码器的情况下快速学习潜在代表物。 实现这一点的办法是利用经验型贝耶斯计算后台的预期值, 其实施方法是先用零位初始潜向矢量,然后将零矢量的数据的日志相似度梯度用作新的潜在点。 这种方法与自动显示器相类似,但结构更简单,并体现在一个允许取样的变式自动计算器中。 这也允许隐含代表器网络在不需要超网络的情况下学习隐含功能的空间,保留其在数据集之间的代表优势。 实验显示,拟议方法的汇合速度快,其重建错误大大低于自动编码器,同时需要一半参数。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
专知会员服务
25+阅读 · 2021年4月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
69+阅读 · 2020年10月24日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年5月14日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
5+阅读 · 2017年11月30日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年5月14日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
5+阅读 · 2017年11月30日
Top
微信扫码咨询专知VIP会员