We introduce REDO, a class-agnostic framework to REconstruct the Dynamic Objects from RGBD or calibrated videos. Compared to prior work, our problem setting is more realistic yet more challenging for three reasons: 1) due to occlusion or camera settings an object of interest may never be entirely visible, but we aim to reconstruct the complete shape; 2) we aim to handle different object dynamics including rigid motion, non-rigid motion, and articulation; 3) we aim to reconstruct different categories of objects with one unified framework. To address these challenges, we develop two novel modules. First, we introduce a canonical 4D implicit function which is pixel-aligned with aggregated temporal visual cues. Second, we develop a 4D transformation module which captures object dynamics to support temporal propagation and aggregation. We study the efficacy of REDO in extensive experiments on synthetic RGBD video datasets SAIL-VOS 3D and DeformingThings4D++, and on real-world video data 3DPW. We find REDO outperforms state-of-the-art dynamic reconstruction methods by a margin. In ablation studies we validate each developed component.


翻译:我们引入了REDO, 这是一种从 RGBD 或校准视频中重建动态物体的等级不可知框架。 与先前的工作相比, 我们的问题设置更现实, 更具有挑战性, 原因有三:(1) 由于封闭或相机设置, 一个感兴趣的对象可能永远不会完全可见, 但我们的目标是重建完整的形状; (2) 我们的目标是处理不同的物体动态, 包括僵硬运动、 非硬性运动和表达; (3) 我们的目标是用一个统一的框架来重建不同种类的物体。 为了应对这些挑战, 我们开发了两个新模块。 首先, 我们引入了一个与总时间视觉提示相匹配的卡通 4D 隐含功能。 其次, 我们开发了一个四维转换模块, 捕捉对象动态以支持时间传播和汇总。 我们在合成 RGBD 视频数据集( SAIL- VOS 3D) 和变形THINGS4D++) 以及真实世界视频数据 3DPW 。 我们发现 REDOD 超越了状态动态重建方法的比值 。

0
下载
关闭预览

相关内容

医学人工智能AIM(Artificial Intelligence in Medicine)杂志发表了多学科领域的原创文章,涉及医学中的人工智能理论和实践,以医学为导向的人类生物学和卫生保健。医学中的人工智能可以被描述为与研究、项目和应用相关的科学学科,旨在通过基于知识或数据密集型的计算机解决方案支持基于决策的医疗任务,最终支持和改善人类护理提供者的性能。 官网地址:http://dblp.uni-trier.de/db/journals/artmed/
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
46+阅读 · 2020年2月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
9+阅读 · 2020年2月23日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Arxiv
5+阅读 · 2018年12月18日
Arxiv
5+阅读 · 2018年3月30日
VIP会员
相关VIP内容
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
46+阅读 · 2020年2月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员