【AAAI2021】“可瘦身”的生成式对抗网络

生成式对抗网络(GANs)近年来取得了显著的进展，但模型规模的不断扩大使其难以在实际应用中广泛应用。特别是对于实时任务，由于不同的计算能力，不同的设备需要不同大小的模型。在本文中，我们引入了“可瘦身”的GANs (slimmable GANs)，它可以在运行时灵活地切换生成器的宽度(层的通道)以适应各种质量和效率的权衡。具体地说，我们利用多个部分参数共享判别器来训练“可瘦身”的生成器。为了促进不同宽度的生成器之间的一致性，我们提出了一种逐步替代蒸馏技术，鼓励窄的生成器向宽的生成器学习。至于类条件生成，我们提出了一种可分割的条件批处理规范化，它将标签信息合并到不同的宽度中。我们的方法通过大量的实验和详细的消融研究得到了定量和定性的验证。

https://arxiv.org/abs/2012.05660