We present a unified framework tackling two problems: class-specific 3D reconstruction from a single image, and generation of new 3D shape samples. These tasks have received considerable attention recently; however, existing approaches rely on 3D supervision, annotation of 2D images with keypoints or poses, and/or training with multiple views of each object instance. Our framework is very general: it can be trained in similar settings to these existing approaches, while also supporting weaker supervision scenarios. Importantly, it can be trained purely from 2D images, without ground-truth pose annotations, and with a single view per instance. We employ meshes as an output representation, instead of voxels used in most prior work. This allows us to exploit shading information during training, which previous 2D-supervised methods cannot. Thus, our method can learn to generate and reconstruct concave object classes. We evaluate our approach on synthetic data in various settings, showing that (i) it learns to disentangle shape from pose; (ii) using shading in the loss improves performance; (iii) our model is comparable or superior to state-of-the-art voxel-based approaches on quantitative metrics, while producing results that are visually more pleasing; (iv) it still performs well when given supervision weaker than in prior works.


翻译:我们提出了一个统一的框架,以解决两个问题:从单一图像中进行班级三维重建,并生成新的三维形状样本。这些任务最近引起了相当大的关注;然而,现有方法依赖于三维监督,用关键点或姿势对二维图像进行注解,和/或以多个视图对每个对象实例进行培训。我们的框架非常笼统:可以在与这些现有方法相似的环境下对其进行培训,同时支持较弱的监督设想。重要的是,它可以纯粹从2D图像中接受培训,没有地面图案的图解,而且每个实例都有一个单一的视角。我们使用meshes作为产出代表,而不是在大多数先前工作中使用的 voxel。这使我们能够在培训期间利用阴影信息,而此前的2D 监督方法无法做到这一点。 因此,我们的方法可以学会生成和重建连结对象课程。我们在不同环境中对合成数据的方法进行评估,表明(一)它学会分解外形形状;(二)在损失表现中使用阴影来改进业绩。 (三)我们的模型可以比较或优于先前2D监督方法,同时进行较弱的排序。

3
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
113+阅读 · 2019年9月30日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【泡泡一分钟】Matterport3D: 从室内RGBD数据集中训练 (3dv-22)
泡泡机器人SLAM
12+阅读 · 2017年12月31日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Learning Implicit Fields for Generative Shape Modeling
Arxiv
4+阅读 · 2017年11月4日
VIP会员
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
113+阅读 · 2019年9月30日
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【泡泡一分钟】Matterport3D: 从室内RGBD数据集中训练 (3dv-22)
泡泡机器人SLAM
12+阅读 · 2017年12月31日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Top
微信扫码咨询专知VIP会员