高光压制、清晰边界、任意场景，谷歌人像抠图新作！有了它，以后五一足不出户游世界

2021 年 5 月 2 日 机器之心

机器之心报道

编辑：维度、陈萍

人像抠图又出新作！来自谷歌的研究者提出了一种新的人像重照明和背景替换系统，可对图像背景进行替换，生成的肖像图的光照条件与新背景保持一致，还能有效地去除图片中的强光，细节恢复较好。

在人像抠图中，前景预测背景替换是至关重要的组成部分，此前也出现过各种效果不错的抠图方法，如商汤等提出的只需单张图像、单个模型的方法 MODNet、华盛顿大学单块 GPU 实现 4K 分辨率每秒 30 帧的 Background Matting 2.0 等。这些方法或多或少都有其局限性。

近日，来自谷歌的几位研究者提出了一种全新的人像重照明（portrait relighting）和背景替换系统，该系统不仅保留了高频边界细节，并精确地合成了目标人像在新照明下的外观，从而为任何所需场景生成逼真的合成图像。

相关论文已被 SIGGRAPH 2021 会议接收。

论文地址：https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf

该研究的亮点和核心是通过 前景蒙版（alpha matting）、重照明（relighting）和合成（compositing ）进行前景估计。

研究者在论文中表示，每个阶段都可以在一个连续的 pipeline 中处理，无需使用先验知识（如已知背景或已知照明），也无需专门的采集技术，仅使用单个 RGB 肖像图和新的目标 HDR 照明环境作为输入。

模型训练中使用到了光阶段计算照明（ light stage computational illumination ）系统捕获的重照明肖像图，该系统记录了多种照明条件、高质量几何形状和精确的前景蒙版。

此外，为了实现真实的重照明合成，研究者在深度学习框架中引入了一种新的每像素照明表征，它显式地建模肖像图外观的漫反射和镜面反射组件，生成了具有绝佳渲染非朗伯效果（如镜面反射高光）的重照明肖像。实验表明，该方法在处理自然环境图像中是有效的。

合成效果是这样的：

实景动态展示，能看出来是合成的吗？

框架方法

研究者提出的框架包含以下几个步骤，首先 matting 模块根据给定的 RGB 肖像图估计前景蒙版和前景，然后估计的前景和目标 HDR 照明环境馈入重照明模块，该模块负责推理表面几何形状和反照率，并使用每像素重照明表征来显式地建模着色后外观的漫反射和镜面反射组件。

最后，前景蒙版、重照明结果和新背景合成在一起，生成了一张具有新背景的重照明肖像图，并且肖像图的光照条件与新背景保持一致。

整体架构如下图 3 所示：

重照明模块又包含以下几个步骤，首先使用几何网络（Geometry Network）来估计输入前景的每像素表面法线 N，然后利用表面法线和前景 F 来生成反射率（albedo）A。使用扩散和镜面卷积运算对目标 HDR 照明环境进行预过滤，然后通过表面法线或者反射向量对预过滤后的 map 进行采样，从而生成目标照明（光照图）漫反射和镜面反射的每像素表征。接着，使用着色网络（Shading Network）生成最终的重照明前景。

下图 4 展示了重照明模块的详细工作流程：