The recent GAN inversion methods have been able to successfully invert the real image input to the corresponding editable latent code in StyleGAN. By combining with the language-vision model (CLIP), some text-driven image manipulation methods are proposed. However, these methods require extra costs to perform optimization for a certain image or a new attribute editing mode. To achieve a more efficient editing method, we propose a new Text-driven image Manipulation framework via Space Alignment (TMSA). The Space Alignment module aims to align the same semantic regions in CLIP and StyleGAN spaces. Then, the text input can be directly accessed into the StyleGAN space and be used to find the semantic shift according to the text description. The framework can support arbitrary image editing mode without additional cost. Our work provides the user with an interface to control the attributes of a given image according to text input and get the result in real time. Ex tensive experiments demonstrate our superior performance over prior works.
翻译:最近的 GAN 转换方法成功地将真实图像输入转换到 StyleGAN 中相应的可编辑隐含代码中。 通过与语言视图模型( CLIP) 合并, 提出了一些文本驱动图像操作方法。 但是, 这些方法需要额外的成本才能对某图像进行优化或对新的属性编辑模式进行优化。 为了实现更有效的编辑方法, 我们通过空间对齐( TMSA) 提出一个新的文本驱动图像操纵框架 。 空间对齐模块的目标是将CLIP 和 StyleGAN 空间的相同语义区域对齐。 然后, 文本输入可以直接进入 StyGAN 空间, 并用于根据文本描述查找语义转换。 框架可以支持任意图像编辑模式, 而无需额外成本。 我们的工作为用户提供了一个界面, 以控制给定图像的属性, 以文本输入为根据, 并实时获得结果 。 Ex 数实验展示了我们对先前工程的高级性 。