Effectively parsing the facade is essential to 3D building reconstruction, which is an important computer vision problem with a large amount of applications in high precision map for navigation, computer aided design, and city generation for digital entertainments. To this end, the key is how to obtain the shape grammars from 2D images accurately and efficiently. Although enjoying the merits of promising results on the semantic parsing, deep learning methods cannot directly make use of the architectural rules, which play an important role for man-made structures. In this paper, we present a novel translational symmetry-based approach to improving the deep neural networks. Our method employs deep learning models as the base parser, and a module taking advantage of translational symmetry is used to refine the initial parsing results. In contrast to conventional semantic segmentation or bounding box prediction, we propose a novel scheme to fuse segmentation with anchor-free detection in a single stage network, which enables the efficient training and better convergence. After parsing the facades into shape grammars, we employ an off-the-shelf rendering engine like Blender to reconstruct the realistic high-quality 3D models using procedural modeling. We conduct experiments on three public datasets, where our proposed approach outperforms the state-of-the-art methods. In addition, we have illustrated the 3D building models built from 2D facade images.


翻译:有效地剖析外观对于3D建筑重建至关重要, 3D建筑重建是一个重要的计算机视觉问题, 包括大量应用在高精密的导航地图、 计算机辅助设计和数字娱乐城市生成中的大量应用。 为此, 关键在于如何准确和高效地从 2D 图像中获取形状语法图。 虽然在语义分解上享有有希望的结果的优点, 深层学习方法无法直接利用建筑规则, 这在人为结构中起着重要作用 。 在本文中, 我们展示了一个新的基于翻译对称的对称法方法, 用于改善深层神经网络。 我们的方法使用深度学习模型作为基础剖析器, 并且利用一个利用翻译对称的模块来改进初始分析结果。 与传统的语义分解或捆绑的框预测相比, 我们提议了一个新方案, 在单一的阶段网络中, 用无锚定分解的检测器连接断, 从而能够进行高效的培训和更好的融合 。 在将外观转换成形状时, 我们使用一个离层的模型, 3D 模型, 我们使用一个离层的模型, 将高质量的模型进行我们 的模型进行高质量的模型, 我们的模型 重建。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
专知会员服务
109+阅读 · 2020年3月12日
专知会员服务
159+阅读 · 2020年1月16日
已删除
将门创投
5+阅读 · 2019年5月5日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】CVPR 2017 Tutorial:如何从图像来构建3D模型
机器学习研究会
6+阅读 · 2017年8月8日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
VIP会员
相关VIP内容
【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
专知会员服务
109+阅读 · 2020年3月12日
专知会员服务
159+阅读 · 2020年1月16日
相关资讯
已删除
将门创投
5+阅读 · 2019年5月5日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】CVPR 2017 Tutorial:如何从图像来构建3D模型
机器学习研究会
6+阅读 · 2017年8月8日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Top
微信扫码咨询专知VIP会员