Realistic 3D indoor scene datasets have enabled significant recent progress in computer vision, scene understanding, autonomous navigation, and 3D reconstruction. But the scale, diversity, and customizability of existing datasets is limited, and it is time-consuming and expensive to scan and annotate more. Fortunately, combinatorics is on our side: there are enough individual rooms in existing 3D scene datasets, if there was but a way to recombine them into new layouts. In this paper, we propose the task of generating novel 3D floor plans from existing 3D rooms. We identify three sub-tasks of this problem: generation of 2D layout, retrieval of compatible 3D rooms, and deformation of 3D rooms to fit the layout. We then discuss different strategies for solving the problem, and design two representative pipelines: one uses available 2D floor plans to guide selection and deformation of 3D rooms; the other learns to retrieve a set of compatible 3D rooms and combine them into novel layouts. We design a set of metrics that evaluate the generated results with respect to each of the three subtasks and show that different methods trade off performance on these subtasks. Finally, we survey downstream tasks that benefit from generated 3D scenes and discuss strategies in selecting the methods most appropriate for the demands of these tasks.


翻译:现实的 3D 室内场景数据集使计算机视野、 现场理解、 自主导航和 3D 重建等最近取得的重大进展。 但是, 现有数据集的规模、 多样性和可定制性有限, 但现有数据集的规模、 多样性和可定制性都有限, 扫描和批注要花费大量的时间和费用。 幸运的是, 组合式数据在我们一边: 现有的 3D 场景数据集中有足够的单个房间, 如果没有将它们重新纳入新布局的方法, 我们建议从现有的 3D 室中绘制新的 3D 平面图。 我们设计了一组衡量该问题的子任务: 生成 2D 版图, 检索兼容的 3D 房间, 以及改变 3D 房间的配置。 然后我们讨论解决问题的不同策略, 并设计两条有代表性的管道: 一个是使用 2D 平面图来指导 3D 房间的选取和变形; 另一个是学习如何检索一套兼容的 3D 3D 房间, 并将其合并成新的布局。 我们设计一套衡量尺度, 用来评估这三种子任务中每个子任务产生的结果, 并显示我们从 3D 的底图中选择了这些任务的不同方法。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
【干货书】开放数据结构,Open Data Structures,337页pdf
专知会员服务
16+阅读 · 2021年9月17日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
17+阅读 · 2021年5月3日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
已删除
将门创投
8+阅读 · 2019年7月10日
Arxiv
12+阅读 · 2021年6月21日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
VIP会员
相关资讯
已删除
将门创投
8+阅读 · 2019年7月10日
Top
微信扫码咨询专知VIP会员