Occlusions are a common occurrence in unconstrained face images. Single image 3D reconstruction from such face images often suffers from corruption due to the presence of occlusions. Furthermore, while a plurality of 3D reconstructions is plausible in the occluded regions, existing approaches are limited to generating only a single solution. To address both of these challenges, we present Diverse3DFace, which is specifically designed to simultaneously generate a diverse and realistic set of 3D reconstructions from a single occluded face image. It consists of three components: a global+local shape fitting process, a graph neural network-based mesh VAE, and a Determinantal Point Process based diversity promoting iterative optimization procedure. Quantitative and qualitative comparisons of 3D reconstruction on occluded faces show that Diverse3DFace can estimate 3D shapes that are consistent with the visible regions in the target image while exhibiting high, yet realistic, levels of diversity on the occluded regions. On face images occluded by masks, glasses, and other random objects, Diverse3DFace generates a distribution of 3D shapes having ~50% higher diversity on the occluded regions compared to the baselines. Moreover, our closest sample to the ground truth has ~40% lower MSE than the singular reconstructions by existing approaches.


翻译:在未受限制的面部图像中,隔离是常见的。从这种面部图像中重建的单一图像 3D 通常会因存在隔离而出现腐败。此外,虽然在隐蔽区域,3D重建的多元性是可行的,但现有办法仅限于产生单一的解决办法。为了应对这两个挑战,我们介绍了多样化3DFace, 专门设计它是为了同时产生一套多样化和现实的3D重建,由单一隐蔽的面部图像组成。它由三个组成部分组成:一个全球+地方形状安装过程,一个基于图形网络的神经元件VAE,一个基于多样性的震动点进程,促进迭代优化程序。对3D重建隐蔽面部的定量和定性比较表明,3DFDFace可以估计与目标图像中可见的区域相一致的3D形状,同时显示隐蔽区域高度、但现实的多样化程度。在面部、眼镜和其他随机物体所隐蔽的面部图像中,基于图形网络网状网状网状网状网状网状网状网状网状的M-40 级图状图状图状图状图状的分布比目前为最接近的40。

0
下载
关闭预览

相关内容

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。 物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟,现有若干软件支持,比如:3DMAX、Maya、AutoCAD、UG等等,它们一般使用具有数学表达式的曲线曲面表示几何形状。后者一般称为三维重建过程,三维重建是指利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术,包括数据获取、预处理、点云拼接和特征分析等步骤。
中国机器人产业应用创新白皮书(2021),91页pdf
专知会员服务
74+阅读 · 2022年1月9日
专知会员服务
31+阅读 · 2021年6月12日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
35+阅读 · 2020年6月17日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
CVPR 2020 论文大盘点-光流篇
计算机视觉life
9+阅读 · 2020年7月17日
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
Arxiv
4+阅读 · 2017年11月4日
VIP会员
相关资讯
CVPR 2020 论文大盘点-光流篇
计算机视觉life
9+阅读 · 2020年7月17日
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Top
微信扫码咨询专知VIP会员