360{\deg} cameras can capture complete environments in a single shot, which makes 360{\deg} imagery alluring in many computer vision tasks. However, monocular depth estimation remains a challenge for 360{\deg} data, particularly for high resolutions like 2K (2048$\times$1024) that are important for novel-view synthesis and virtual reality applications. Current CNN-based methods do not support such high resolutions due to limited GPU memory. In this work, we propose a flexible framework for monocular depth estimation from high-resolution 360{\deg} images using tangent images. We project the 360{\deg} input image onto a set of tangent planes that produce perspective views, which are suitable for the latest, most accurate state-of-the-art perspective monocular depth estimators. We recombine the individual depth estimates using deformable multi-scale alignment followed by gradient-domain blending to improve the consistency of disparity estimates. The result is a dense, high-resolution 360{\deg} depth map with a high level of detail, also for outdoor scenes which are not supported by existing methods.


翻译:360=deg} 相机可以在一次镜头中捕捉完整环境, 使360=deg} 图像在许多计算机视觉任务中具有吸引力。 然而, 360=deg} 数据, 特别是对于新观点合成和虚拟现实应用十分重要的2K( 2048$\time$1024) 高分辨率数据, 特别是对于对于新观点合成和虚拟现实应用非常重要的2K( 2048$ times1024) 来说, 单向深度估计仍然是一个挑战。 目前以CNN为基础的方法由于 GPU 内存有限, 无法支持这样的高分辨率。 在这项工作中, 我们提出了一个灵活的框架, 用于使用正切图像从高分辨率360=deg} 图像中进行单向深度估计。 我们将360=deg} 输入图像投放到一组热度平面上, 以产生视觉视图, 适合最新的、 最精确的状态视角单向深度估计器 。 我们使用可变形多尺度的组合后再重新测量个人深度估计数, 来提高差异估计的一致性。 。 。 结果是一张密度高分辨率的、 360=deg} 深度地图, 深度图, 和高精密, 地图, 也不受现有方法支持的室不支持。

0
下载
关闭预览

相关内容

专知会员服务
46+阅读 · 2021年10月10日
专知会员服务
6+阅读 · 2021年9月22日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
【泡泡一分钟】3D物体的特征编码变种
泡泡机器人SLAM
4+阅读 · 2019年1月1日
LIMO: Lidar-Monocular Visual Odometry
Arxiv
3+阅读 · 2018年7月19日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
VIP会员
相关资讯
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
【泡泡一分钟】3D物体的特征编码变种
泡泡机器人SLAM
4+阅读 · 2019年1月1日
Top
微信扫码咨询专知VIP会员