【SIGGRAPH 2020】人像阴影处理，Portrait Shadow Manipulation

题目： Portrait Shadow Manipulation

摘要：

由于环境条件不佳，随意拍摄的肖像照片经常受到不讨人喜欢的光照和阴影的影响。美学品质，如阴影的位置和柔软度，以及脸部明暗部分之间的照明比例，往往是由环境的约束而不是摄影师决定的。专业人员通过添加光线形状工具(如scrims、bounce cards和flash)来解决这个问题。在这篇论文中，我们提出了一种计算方法，它可以给普通摄影师一些控制，从而允许低亮度的人像以一种现实和易于控制的方式重新拍摄。我们的方法依赖于一对神经网络——一个用于去除外部物体投射的外部阴影，另一个用于软化由主体特征投射的面部阴影，并添加一个合成的填充光以提高照明比例。为了训练我们的第一个网络，我们构建了一个真实世界肖像的数据集，其中合成的外部阴影被渲染到面部，我们展示了网络学会了去除那些不需要的阴影。为了训练第二个网络，使用了人类受试者的光级扫描数据集来构建输入/输出对输入图像，这些输入图像被一个小光源强烈地照亮，而每个面部的输出图像则被柔和地照亮。我们提出了一种明确编码面部对称性的方法，并展示了数据集和训练过程使模型能够推广到野外拍摄的图像。总之，这些网络使现实世界肖像图像中的阴影和光线的逼真和美学上令人愉悦的增强成为可能。