Generative Adversarial Networks (GANs) can produce images of surprising complexity and realism, but are generally modeled to sample from a single latent source ignoring the explicit spatial interaction between multiple entities that could be present in a scene. Capturing such complex interactions between different objects in the world, including their relative scaling, spatial layout, occlusion, or viewpoint transformation is a challenging problem. In this work, we propose to model object composition in a GAN framework as a self-consistent composition-decomposition network. Our model is conditioned on the object images from their marginal distributions to generate a realistic image from their joint distribution by explicitly learning the possible interactions. We evaluate our model through qualitative experiments and user evaluations in both the scenarios when either paired or unpaired examples for the individual object images and the joint scenes are given during training. Our results reveal that the learned model captures potential interactions between the two object domains given as input to output new instances of composed scene at test time in a reasonable fashion.

30
下载
关闭预览

相关内容

【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
83+阅读 · 2020年7月4日
【SIGIR2020】学习词项区分性,Learning Term Discrimination
专知会员服务
15+阅读 · 2020年4月28日
因果关联学习,Causal Relational Learning
专知会员服务
144+阅读 · 2020年4月21日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
107+阅读 · 2020年3月18日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
105+阅读 · 2019年9月30日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Image Captioning based on Deep Reinforcement Learning
Arxiv
7+阅读 · 2018年5月1日
Arxiv
6+阅读 · 2018年4月3日
Arxiv
7+阅读 · 2018年1月21日
Arxiv
20+阅读 · 2018年1月17日
小贴士
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员