【香港中文大学-CVPR2020】Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

题目： Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

简介：

尽管最近几年人脸旋转取得了快速进展，但是缺乏高质量的训练数据仍然是现有方法的一大障碍。当前的生成模型严重依赖于具有同一人的多视图图像的数据集。因此，它们的生成结果受到数据源的规模和范围的限制。为了克服这些挑战，我们提出了一种新颖的无监督框架，该框架可以仅使用野外的单视图图像集来合成逼真的旋转面部。我们主要在于，在3D空间中来回旋转面并将其重新渲染到2D平面可以充当强大的自我监督。我们利用3D人脸建模和高分辨率GAN的最新进展来构成我们的构建块。由于可以在不损失细节的情况下将3D旋转和面部渲染应用到任意角度，因此我们的方法非常适用于现有方法不足的野外场景（即没有可用的配对数据）。广泛的实验表明，与广泛使用的姿势和领域相比，我们的方法具有比最先进的方法更好的合成质量和身份保留功能。此外，我们验证了旋转和渲染框架自然可以充当有效的数据增强引擎，即使在强大的基线模型上也可增强现代人脸识别系统.