Face relighting aims to synthesize realistic portraits under novel illumination while preserving identity and geometry. However, progress remains constrained by the limited availability of large-scale, physically consistent illumination data. To address this, we introduce POLAR, a large-scale and physically calibrated One-Light-at-a-Time (OLAT) dataset containing over 200 subjects captured under 156 lighting directions, multiple views, and diverse expressions. Building upon POLAR, we develop a flow-based generative model POLARNet that predicts per-light OLAT responses from a single portrait, capturing fine-grained and direction-aware illumination effects while preserving facial identity. Unlike diffusion or background-conditioned methods that rely on statistical or contextual cues, our formulation models illumination as a continuous, physically interpretable transformation between lighting states, enabling scalable and controllable relighting. Together, POLAR and POLARNet form a unified illumination learning framework that links real data, generative synthesis, and physically grounded relighting, establishing a self-sustaining "chicken-and-egg" cycle for scalable and reproducible portrait illumination.


翻译:人脸重光照旨在在保持身份与几何特征不变的前提下,合成新光照条件下的真实感肖像。然而,当前进展受限于大规模、物理一致的光照数据稀缺。为此,我们提出了POLAR——一个大规模且经过物理标定的单光源逐次照明(OLAT)数据集,包含超过200位被试者在156个光照方向、多视角及多种表情下的采集数据。基于POLAR,我们开发了基于流的生成模型POLARNet,该模型能够从单张肖像预测每光源的OLAT响应,在保持面部身份的同时捕捉细粒度、方向敏感的光照效应。与依赖统计特征或上下文线索的扩散模型或背景条件化方法不同,我们的建模框架将光照视为光照状态间连续、物理可解释的变换,从而实现可扩展且可控的重光照。POLAR与POLARNet共同构成了一个统一的光照学习框架,将真实数据、生成合成与物理基础的重光照技术相连接,为可扩展、可复现的肖像光照研究建立了自持的“鸡与蛋”循环体系。

0
下载
关闭预览

相关内容

国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员