【泡泡一分钟】基于对抗式约束的若监督3D重构 (3dv-60)

会员服务 ·

【泡泡一分钟】基于对抗式约束的若监督3D重构 (3dv-60)

2018 年 3 月 25 日 泡泡机器人SLAM 泡泡一分钟

每天一分钟，带你读遍机器人顶级会议文章

标题：Weakly Supervised 3D Reconstruction with Adversarial Constraint

作者：JunYoung Gwak∗ , Christopher B. Choy∗, Manmohan Chandraker, Animesh Garg, Silvio Savarese

来源：3dv 2017 ( International Conference on 3D Vision）

播音员：AMY

编译：林旭滨 (84)

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

监督式3D重构利用深度神经网络已经取得了显著的进展。然而，这种进展的背后是对大规模2D/3D标注数据集的大量需求。本文，我们用一种低成本的2D监督用以取代成本高昂的3D CAD标注。

具体而言，我们是在光线追踪池化层（raytrace pooling layer）中利用前景遮罩（foreground mask）作为弱监督以实现透视投影及向后传播，如图1所示。

图1. McRecon网络结构示意图，其中池化层将3D图形渲染成2D占据图实现监督

此外由于通过遮罩实现3D重构是一个不适定性问题，我们将3D重构限制在一流形上，此流形由与遮罩匹配的无标签的真实3D形状构成，如图2所示。

图2. 利用流形约束正则化由前景遮罩重构导致的不适应性问题。

我们证明了解此约束优化问题所涉及的对数障碍函数的学习可类比于生成式对抗网络（GAN）的目标，这使得我们能利用现有的训练GAN的工具。

我们在不同的数据集下测试、分析我们所提出的流形约束下的重构方法，这些数据集涵盖了用于单视图重构及多视图重构的各种人工合成及真实场景下的图片。

Abstract

Supervised 3D reconstruction has witnessed a significant progress through the use of deep neural networks. However, this increase in performance requires large scale annotations of 2D/3D data. In this paper, we explore inexpensive 2D supervision as an alternative for expensive 3D CAD annotation. Specifically, we use foreground masks as weak supervision through a raytrace pooling layer that enables perspective projection and backpropagation. Additionally, since the 3D reconstruction from masks is an ill posed problem, we propose to constrain the 3D reconstruction to the manifold of unlabeled realistic 3D shapes that match mask observations. We demonstrate that learning a log-barrier solution to this constrained optimization problem resembles the GAN objective, enabling the use of existing tools for training GANs. We evaluate and analyze the manifold constrained reconstruction on various datasets for single and multi-view reconstruction of both synthetic and real images.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

链接: https://pan.baidu.com/s/1jJkagC2 密码: eha3