Photorealistic editing of portraits is a challenging task as humans are very sensitive to inconsistencies in faces. We present an approach for high-quality intuitive editing of the camera viewpoint and scene illumination in a portrait image. This requires our method to capture and control the full reflectance field of the person in the image. Most editing approaches rely on supervised learning using training data captured with setups such as light and camera stages. Such datasets are expensive to acquire, not readily available and do not capture all the rich variations of in-the-wild portrait images. In addition, most supervised approaches only focus on relighting, and do not allow camera viewpoint editing. Thus, they only capture and control a subset of the reflectance field. Recently, portrait editing has been demonstrated by operating in the generative model space of StyleGAN. While such approaches do not require direct supervision, there is a significant loss of quality when compared to the supervised approaches. In this paper, we present a method which learns from limited supervised training data. The training images only include people in a fixed neutral expression with eyes closed, without much hair or background variations. Each person is captured under 150 one-light-at-a-time conditions and under 8 camera poses. Instead of training directly in the image space, we design a supervised problem which learns transformations in the latent space of StyleGAN. This combines the best of supervised learning and generative adversarial modeling. We show that the StyleGAN prior allows for generalisation to different expressions, hairstyles and backgrounds. This produces high-quality photorealistic results for in-the-wild images and significantly outperforms existing methods. Our approach can edit the illumination and pose simultaneously, and runs at interactive rates.
翻译:对肖像的摄影现实编辑是一项艰巨的任务,因为人类对面部的不一致性非常敏感。 我们展示了一种在肖像图像中高质量直观编辑相机视图和场景光照的方法。 这要求我们用一种方法来捕捉和控制图像中的人的完全反射场。 大多数编辑方法依靠使用光和相机级等设置收集的培训数据进行监管性学习。 这些数据集非常昂贵,难以获取,不易获得,而且不能捕捉动态图像的所有丰富变异。 此外, 多数受监督的方法只侧重于重新点亮, 不允许相机视图编辑。 因此, 它们只捕捉和控制一个反映场的一组。 最近, 肖像编辑是通过StelegGAN的基因化模型空间。 虽然这些方法不需要直接监督, 但与受监督的方法相比质量会大大下降。 在本文中, 我们从有限的监管性培训的表达方式中, 培训质量仅包括闭着眼睛的中性表达的人, 没有太多的头发或背景变化。 因此, 他们只能捕捉取和控制一个反向的反向性图像。 在前的图像中, 我们用一种直接的图像的演示中, 将展示, 一种在18的演示中, 我们的演示中, 将展示, 将展示, 展示, 展示一个在18 展示一个演示中, 展示, 展示, 展示, 展示一个在前的 展示, 展示, 展示一个在18 展示一个在前的 展示的 展示的 展示, 展示, 展示, 展示, 展示一个在前的 展示一个在前的 展示的 展示在前的 展示在前的 展示的 展示在前的 的 展示在前的 的 展示在前的 展示在前的 展示在前的 的 的 展示在前的 的 的 的 展示的 展示, 展示, 展示, 在前的 展示, 展示, 的 展示在前的 的 展示, 在前的 展示中, 在前的 展示在前的 展示的 展示的 展示在前的 展示的 展示中,在前的 展示在前的 展示在前的 展示在前的 展示的 展示在前的 展示在前的 展示在前的 展示