Extracting detailed 3D information of objects from video data is an important goal for holistic scene understanding. While recent methods have shown impressive results when reconstructing meshes of objects from a single image, results often remain ambiguous as part of the object is unobserved. Moreover, existing image-based datasets for mesh reconstruction don't permit to study models which integrate temporal information. To alleviate both concerns we present SAIL-VOS 3D: a synthetic video dataset with frame-by-frame mesh annotations which extends SAIL-VOS. We also develop first baselines for reconstruction of 3D meshes from video data via temporal models. We demonstrate efficacy of the proposed baseline on SAIL-VOS 3D and Pix3D, showing that temporal information improves reconstruction quality. Resources and additional information are available at http://sailvos.web.illinois.edu.


翻译:从视频数据中提取详细的三维天体信息是全面了解场景的一个重要目标。 虽然最近的方法在从单一图像中重建天体模版时显示了令人印象深刻的结果, 但结果往往仍然模糊不清, 因为天体的一部分没有观测到。 此外, 现有的网目重建图像数据集不允许研究整合时间信息的模型。 为了缓解这两种关切, 我们提出了SAIL- VOS 3D: 一个合成视频数据集, 带有扩展SAIL- VOS的边框网格说明。 我们还开发了第一个基线, 用于通过时间模型从视频数据中重建三维米片。 我们展示了SAIL- VOS 3D 和 Pix3D 的拟议基线的有效性, 显示时间信息提高了重建质量。 资源和更多信息可在http://sailvos.web.illinois.edu查阅。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【快讯】CVPR2020结果出炉,1470篇上榜, 你的paper中了吗?
【NeurIPS 2019的主要趋势】Key trends from NeurIPS 2019
专知会员服务
11+阅读 · 2019年12月19日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
上百份文字的检测与识别资源,包含数据集、code和paper
数据挖掘入门与实战
17+阅读 · 2017年12月7日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
5+阅读 · 2018年3月30日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员