本文介绍了一种新型高效的变换器模型GANsformer,并将其应用于可视化生成建模。该网络采用了两部分结构,使跨图像的远距离交互成为可能,同时保持线性效率的计算,可以很容易地扩展到高分辨率合成。它从一组潜在变量迭代地传播信息到进化的视觉特征,反之亦然,以支持每一个根据另一个来细化,并鼓励物体和场景的合成表现形式的出现。与经典的变换器架构相比,它利用了乘法积分,允许灵活的基于区域的调制,因此可以被视为成功的StyleGAN网络的推广。我们通过对一系列数据集(从模拟的多目标环境到丰富的真实室内和室外场景)的仔细评估,展示了该模型的强度和鲁棒性,表明它在图像质量和多样性方面达到了最先进的结果,同时拥有快速学习和更好的数据效率。进一步的定性和定量实验为我们提供了对模型内部工作的深入了解,揭示了改进的可解释性和更强的解纠缠性,并说明了我们方法的好处和有效性。

成为VIP会员查看完整内容
19

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
利用 Universal Transformer,翻译将无往不利!
谷歌开发者
5+阅读 · 2018年9月4日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
【学界】用生成对抗网络解决NLP问题:谷歌大脑提出MaskGAN
GAN生成式对抗网络
9+阅读 · 2018年2月1日
GANs之父Ian Goodfellow力荐:GANs的谱归一化
论智
8+阅读 · 2017年11月25日
Generative Adversarial Networks: A Survey and Taxonomy
Arxiv
7+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月30日
VIP会员
相关VIP内容
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
相关资讯
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
利用 Universal Transformer,翻译将无往不利!
谷歌开发者
5+阅读 · 2018年9月4日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
【学界】用生成对抗网络解决NLP问题:谷歌大脑提出MaskGAN
GAN生成式对抗网络
9+阅读 · 2018年2月1日
GANs之父Ian Goodfellow力荐:GANs的谱归一化
论智
8+阅读 · 2017年11月25日
微信扫码咨询专知VIP会员