Early detection of developmental disorders can be aided by analyzing infant craniofacial morphology, but modeling infant faces is challenging due to limited data and frequent spontaneous expressions. We introduce BabyFlow, a generative AI model that disentangles facial identity and expression, enabling independent control over both. Using normalizing flows, BabyFlow learns flexible, probabilistic representations that capture the complex, non-linear variability of expressive infant faces without restrictive linear assumptions. To address scarce and uncontrolled expressive data, we perform cross-age expression transfer, adapting expressions from adult 3D scans to enrich infant datasets with realistic and systematic expressive variants. As a result, BabyFlow improves 3D reconstruction accuracy, particularly in highly expressive regions such as the mouth, eyes, and nose, and supports synthesis and modification of infant expressions while preserving identity. Additionally, by integrating with diffusion models, BabyFlow generates high-fidelity 2D infant images with consistent 3D geometry, providing powerful tools for data augmentation and early facial analysis.


翻译:发育障碍的早期检测可通过分析婴儿颅面形态来辅助,但由于数据有限及频繁的自发性表情,婴儿面部建模颇具挑战。本文提出BabyFlow,一种能够解耦面部身份与表情的生成式人工智能模型,实现对两者的独立控制。BabyFlow利用归一化流学习灵活的概率表征,无需受限的线性假设即可捕捉富有表情的婴儿面部复杂非线性变化。针对稀缺且非受控的表情数据,我们实施跨年龄表情迁移,将成人三维扫描的表情适配至婴儿数据集,从而用逼真且系统化的表情变体丰富婴儿数据。实验表明,BabyFlow显著提升了三维重建精度,尤其在嘴部、眼部及鼻部等高动态表情区域,并支持在保持身份特征的同时合成与修改婴儿表情。此外,通过与扩散模型结合,BabyFlow能生成具有一致三维几何结构的高保真二维婴儿图像,为数据增强及早期面部分析提供了有力工具。

0
下载
关闭预览

相关内容

DeepSeek模型综述:V1 V2 V3 R1-Zero
专知会员服务
116+阅读 · 2月11日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员