动态视图合成(Dynamic View Synthesis)取得了显著进展,然而从非校准、随手拍视频中重建场景仍然具有挑战性,主要原因在于优化过程缓慢以及参数估计复杂。本文提出 INSTANT4D,一种单目重建系统,利用原生的 4D 表征高效处理随手拍视频序列,在无需校准相机或深度传感器的条件下,仅需数分钟即可完成。 我们的方法首先通过深度视觉 SLAM 实现几何恢复,随后采用网格剪枝(grid pruning)优化场景表征。该设计在保持几何完整性的同时显著减少冗余,将模型大小压缩至原始规模的 10% 以下。为高效处理时序动态,我们引入了一种简化的 4D 高斯表征(4D Gaussian representation),实现了 30 倍加速,将训练时间缩短至 2 分钟以内,同时在多个基准测试上保持了有竞争力的性能。 在 Dycheck 数据集或典型的 200帧视频上,我们的方法能够在 10 分钟内完成单个视频的重建。进一步地,我们将模型应用于真实场景视频,展示了其良好的泛化能力。 项目主页:https://instant4d.github.io/

成为VIP会员查看完整内容
0

相关内容

神经信息处理系统年会(Annual Conference on Neural Information Processing Systems)的目的是促进有关神经信息处理系统生物学,技术,数学和理论方面的研究交流。核心重点是在同行会议上介绍和讨论的同行评审新颖研究,以及各自领域的领导人邀请的演讲。在周日的世博会上,我们的顶级行业赞助商将就具有学术意义的主题进行讲座,小组讨论,演示和研讨会。星期一是教程,涵盖了当前的问询,亲和力小组会议以及开幕式演讲和招待会的广泛背景。一般会议在星期二至星期四举行,包括演讲,海报和示范。 官网地址:http://dblp.uni-trier.de/db/conf/nips/
【CVPR2024】PHYSCENE:为体现智能合成的可交互三维场景
专知会员服务
19+阅读 · 2024年4月19日
【CVPR2023】DynamicDet:目标检测的统一动态架构
专知会员服务
26+阅读 · 2023年4月15日
专知会员服务
11+阅读 · 2021年2月4日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
21+阅读 · 2021年10月25日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
【干货】利用ENVI从航空影像中提取DEM
无人机
14+阅读 · 2018年1月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
171+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
484+阅读 · 2023年3月31日
Arxiv
79+阅读 · 2023年3月26日
Arxiv
175+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关资讯
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
21+阅读 · 2021年10月25日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
【干货】利用ENVI从航空影像中提取DEM
无人机
14+阅读 · 2018年1月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员