【CVPR 2022】自由风格的文本-人脸合成和操作，AnyFace: Free-style Text-to-Face Synthesis and Manipulation

AnyFace: Free-style Text-to-Face Synthesis and Manipulation

Jianxin Sun, Qiyao Deng, Qi Li, Muyi Sun, Min Ren, Zhenan Sun

现有的文本到图像生成的方法通常只适用于数据集中已有的单词，然而，有限的单词无法全面的描述一张人脸。因此，本文开创性的提出了一种自由风格的文本到人脸生成方法（AnyFace）以支持元宇宙，社交媒体，取证等更广泛的应用。对于任意给定的文本，AnyFace 采用一个新型的双通道网络实现人脸的生成和编辑。首先用CLIP编码器对人脸的文本和图像特征进行编码，跨模态蒸馏模块用于实现视觉和文本空间的交互，此外，本文还采用了一个多样化对比损失来生成更加多样化和细密度的细节。在多个数据集上的实验证明了算法的有效性。AnyFace可以在对输入没有限制的条件下实现高质量，高分辨率，多样性的人脸生成和编辑。

自由风格的文本到人脸生成方法示意图