【ICCV2021】一张草图训练可控的GAN？CMU朱俊彦团队

深度生成模型（例如 GAN）强大之处在于，它们能够以最少的用户努力合成无数具有真实性、多样性和新颖的内容。近年来，随着大规模生成模型的质量和分辨率的不断提高，这些模型的潜在应用也不断的在增长。

然而，训练高质量生成模型需要高性能的计算平台，这使得大多数用户都无法完成这种训练。此外，训练高质量的模型还需要收集大规模数据以及复杂的预处理过程。常用的数据集（例如 ImageNet 、LSUN）需要人工标注和过滤；而专用的数据集 FFHQ Face 需要进行人脸对齐以及超分辨率预处理。此外，开发一个高级生成模型需要一组专家的领域知识，他们通常会在特定数据集的单个模型上投入数月或数年的时间，耗时较长。

这就引出了一个问题：普通用户如何创建自己的生成模型？比如，用猫来创造艺术作品的用户可能不愿意使用普通的猫模型，而希望是一种特殊猫的定制模特，摆着特定的姿势：在附近、斜倚着，或者都向左看。一般来说，要获得这样的定制模型，用户必须管理成千上万的向左倾斜的猫图像，然后需要领域专家花几个月的时间进行模型训练和参数调整，才能生成一个较为理想的模型。

在这项工作中，朱俊彦等来自 CMU 和 MIT 的研究者提出 GAN Sketching，该方法通过一个或多个草图重写 GAN，让新手用户更容易地训练 GAN。具体地，该方法还能通过用户草图改变原始 GAN 模型的权重，并且通过跨域（cross-domain ）对抗损失鼓励模型输出来匹配用户草图。

此外，该研究还探索了不同的正则化方法，以保持原始模型的多样性和图像质量。