中科院自动化所联合北方电子设备研究所提出多输入文本人脸合成方法，数据代码已开源

2021 年 12 月 17 日 机器之心

机器之心专栏

作者：孙建新

该方法首次实现多个文本输入的人脸合成，与单输入的算法相比生成的图像更加接近真实人脸。

文本人脸合成指的是基于一个或多个文本描述，生成真实自然的人脸图像，并尽可能保证生成的图像符合对应文本描述，可以用于人机交互，艺术图像生成，以及根据受害者描述生成犯罪嫌疑人画像等。针对这个问题，中科院自动化所联合北方电子设备研究所提出了一种基于多输入的文本人脸合成方法（SEA-T2F），并建立了第一个手工标注的大规模人脸文本描述数据集（CelebAText-HQ）。该方法首次实现多个文本输入的人脸合成，与单输入的算法相比生成的图像更加接近真实人脸。相关成果论文《 Multi-caption Text-to-Face Synthesis: Dataset and Algorithm 》已被ACM MM 2021录用。

论文地址：https://zhaoj9014.github.io/pub/MM21.pdf
数据集和代码已开源：https://github.com/cripac-sjx/SEA-T2F

图1 不同方法的文本到人脸图像生成结果

相较于文本到自然图像的生成，文本到人脸生成是一个更具挑战性的任务，一方面，人脸具有更加细密的纹理和模糊的特征，难以建立人脸图像与自然语言的映射，另一方面，相关数据集要么是规模太小，要么直接基于属性标签用网络生成，目前为止，还没有大规模手工标注的人脸文本描述数据集，极大地限制了该领域的发展。此外，目前基于文本的人脸生成方法[1,2,3,4]都是基于一个文本输入，但一个文本不足以描述复杂的人脸特征，更重要的是，由于文本描述的主观性，不同人对于同一张图片的描述可能会相互冲突，因此基于多个文本描述的人脸生成具有很重大的研究意义。

针对该问题，团队提出了一个基于多输入的文本人脸生成算法。算法采用三阶段的生成对抗网络框架，以随机采样的高斯噪声作为输入，来自不同文本的句子特征通过SFIM模块嵌入到网络当中，在网络的第二第三阶段分别引入了AMC模块，将不同文本描述的单词特征与中间图像特征通过注意力机制进行融合，以生成更加细密度的特征。为了更好地在文本中学习属性信息，团队设计了一个属性分类器，并引入属性分类损失来优化网络参数。

图2 模型框架示意图

此外，团队首次建立了一个大规模手工标注数据集，首先在CelebAMask-HQ数据集中筛选了15010张图片，每个图片分别由十个工作人员手工标注十个文本描述，十个描述按照由粗到细的顺序分别描述人脸的不同部位。

实验结果

团队对提出的方法进行了定性和定量分析[5,6]，实验结果表明，该方法不仅能生成高质量的图像，并且更加符合文本描述。

图3 不同方法比较结果

图4 不同数量输入的生成结果

表1 不同方法的定量比较结果

表2 消融实验结果：前三行分别表示网络去除SFIM，AMC，和属性分类损失。

参考文献：

1. Osaid Rehman Nasir, Shailesh Kumar Jha, Manraj Singh Grover, Yi Yu, Ajit Kumar, and Rajiv Ratn Shah. 2019. Text2FaceGAN: face generation from fine grained textual descriptions. In IEEE International Conference on Multimedia Big Data (BigMM). 58–67.

2. Xiang Chen, Lingbo Qing, Xiaohai He, Xiaodong Luo, and Yining Xu. 2019. FTGAN: A fully-trained generative adversarial networks for text to face generation. arXiv preprint arXiv:1904.05729 (2019).

3. David Stap, Maurits Bleeker, Sarah Ibrahimi, and Maartje ter Hoeve. 2020. Conditional image generation and manipulation for user-specified content. arXiv preprint arXiv:2005.04909 (2020).

4. Weihao Xia, Yujiu Yang, Jing-Hao Xue, and Baoyuan Wu. 2021. TediGAN: Textguided diverse image generation and manipulation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2256–2265.

5. Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. 2018. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 1316–1324.

6. Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz, and Philip Torr. 2019. Controllable text-to-image generation. In Advances in Neural Information Processing Systems (NeuIPS). 2065–2075.

苏黎世联邦理工DS3Lab：构建以数据为中心的机器学习系统

苏黎世联邦理工学院(ETH Zurich) DS3Lab实验室由助理教授张策以及16名博士生和博士后组成，主要致力于两大研究方向，Ease.ML项目：研究如何设计、管理、加速以数据为中心的机器学习开发、运行和运维流程，ZipML项目：面向新的软硬件环境设计实现高效可扩展的机器学习系统。

12月15日-12月22日 ，来自苏黎世联邦理工学院DS3Lab实验室的11位嘉宾将带来6期分享：构建以数据为中心的机器学习系统，详情如下：