We combine two popular optimization approaches to derive learning algorithms for generative models: variational optimization and evolutionary algorithms. The combination is realized for generative models with discrete latents by using truncated posteriors as the family of variational distributions. The variational parameters of truncated posteriors are sets of latent states. By interpreting these states as genomes of individuals and by using the variational lower bound to define a fitness, we can apply evolutionary algorithms to realize the variational loop. The used variational distributions are very flexible and we show that evolutionary algorithms can effectively and efficiently optimize the variational bound. Furthermore, the variational loop is generally applicable ("black box") with no analytical derivations required. To show general applicability, we apply the approach to three generative models (we use noisy-OR Bayes Nets, Binary Sparse Coding, and Spike-and-Slab Sparse Coding). To demonstrate effectiveness and efficiency of the novel variational approach, we use the standard competitive benchmarks of image denoising and inpainting. The benchmarks allow quantitative comparisons to a wide range of methods including probabilistic approaches, deep deterministic and generative networks, and non-local image processing methods. In the category of "zero-shot" learning (when only the corrupted image is used for training), we observed the evolutionary variational algorithm to significantly improve the state-of-the-art in many benchmark settings. For one well-known inpainting benchmark, we also observed state-of-the-art performance across all categories of algorithms although we only train on the corrupted image. In general, our investigations highlight the importance of research on optimization methods for generative models to achieve performance improvements.


翻译:我们结合了两种流行优化方法,以获得基因化模型的学习算法:变异优化和进化算法。这种组合通过使用脱节的子宫外表作为变异分布的组合,在具有离散潜伏的模型中实现。短线后背体的变异参数是一组潜在的状态。通过将这些状态解释为个人基因组,并通过使用变异下限来定义健身,我们可以应用进化算法来实现变异循环。使用的变异分布非常灵活,我们表明演化算法能够有效和高效地优化变异界限。此外,变异循环一般适用(“黑盒”),不需要分析衍生。为了显示一般适用性能,我们把这些方法应用于三种变异型模型(我们使用噪音-OR Bayes Nets, Binary Sprassarting Coding, Spretail-Slabrefer confermall coding ) 。为了展示新变异方法的有效性和效率,我们使用所有已知的变异性图像变现和整形标准基准,我们使用所有不同的变异性变法的变现和制图像变法的变法的变法。我们使用这些基准基准基准基准基准可以用来用来进行一种不同变现的变现的变法的变法的变法的变法的变法的变法的变法的变法方法。我们所观察到的变法的变法的变法的变法的变法方法,我们所观察到的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法方法,我们的变法的变法的变法方法,我们的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法和制和制和制和制和制的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变法的变

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
71+阅读 · 2020年10月24日
因果图,Causal Graphs,52页ppt
专知会员服务
250+阅读 · 2020年4月19日
自动结构变分推理,Automatic structured variational inference
专知会员服务
40+阅读 · 2020年2月10日
【干货51页PPT】深度学习理论理解探索
专知会员服务
65+阅读 · 2019年12月24日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
207+阅读 · 2019年9月30日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
6+阅读 · 2018年2月24日
VIP会员
相关VIP内容
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
71+阅读 · 2020年10月24日
因果图,Causal Graphs,52页ppt
专知会员服务
250+阅读 · 2020年4月19日
自动结构变分推理,Automatic structured variational inference
专知会员服务
40+阅读 · 2020年2月10日
【干货51页PPT】深度学习理论理解探索
专知会员服务
65+阅读 · 2019年12月24日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
207+阅读 · 2019年9月30日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员