Differentiable rendering is a very successful technique that applies to a Single-View 3D Reconstruction. Current renderers use losses based on pixels between a rendered image of some 3D reconstructed object and ground-truth images from given matched viewpoints to optimise parameters of the 3D shape. These models require a rendering step, along with visibility handling and evaluation of the shading model. The main goal of this paper is to demonstrate that we can avoid these steps and still get reconstruction results as other state-of-the-art models that are equal or even better than existing category-specific reconstruction methods. First, we use the same CNN architecture for the prediction of a point cloud shape and pose prediction like the one used by Insafutdinov \& Dosovitskiy. Secondly, we propose the novel effective loss function that evaluates how well the projections of reconstructed 3D point clouds cover the ground truth object's silhouette. Then we use Poisson Surface Reconstruction to transform the reconstructed point cloud into a 3D mesh. Finally, we perform a GAN-based texture mapping on a particular 3D mesh and produce a textured 3D mesh from a single 2D image. We evaluate our method on different datasets (including ShapeNet, CUB-200-2011, and Pascal3D+) and achieve state-of-the-art results, outperforming all the other supervised and unsupervised methods and 3D representations, all in terms of performance, accuracy, and training time.


翻译:可区别的映射是一种非常成功的技术,适用于单一视图 3D 重建 。 当前转换器使用基于3D 重建对象的图像和地面真实图像之间的像素损失, 这些图像来自给定的匹配角度, 以优化 3D 形状的参数。 这些模型需要跨度, 加上可见度处理和评估阴影模型。 本文的主要目的是显示我们能够避免这些步骤, 并且仍然获得重建结果, 作为其他最先进的模型, 这些模型与现有特定类别的重建方法相同或甚至更好。 首先, 我们使用相同的CNN 结构来预测点网络云形的精确度, 并像 Insafutdinov 所使用的那样作出预测 3D 形状的优化。 其次, 我们提出新的有效损失功能, 评估重建的 3D 点云的预测如何覆盖地面真相对象的细微。 然后我们用Poisson 地表重建来将重建的点云变成3D 。 最后, 我们用基于 GAN 的文本图解来预测一个特定的 3D 云形的显示 3D, 高级的演示文像学 。

0
下载
关闭预览

相关内容

损失函数,在AI中亦称呼距离函数,度量函数。此处的距离代表的是抽象性的,代表真实数据与预测数据之间的误差。损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。
【Manning新书】现代Java实战,592页pdf
专知会员服务
99+阅读 · 2020年5月22日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
“CVPR 2020 接受论文列表 1470篇论文都在这了
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机视觉的不同任务
专知
5+阅读 · 2018年8月27日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Pluralistic Image Completion
Arxiv
8+阅读 · 2019年3月11日
VIP会员
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机视觉的不同任务
专知
5+阅读 · 2018年8月27日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员