360{\deg} cameras can capture complete environments in a single shot, which makes 360{\deg} imagery alluring in many computer vision tasks. However, monocular depth estimation remains a challenge for 360{\deg} data, particularly for high resolutions like 2K (2048$\times$1024) that are important for novel-view synthesis and virtual reality applications. Current CNN-based methods do not support such high resolutions due to limited GPU memory. In this work, we propose a flexible framework for monocular depth estimation from high-resolution 360{\deg} images using tangent images. We project the 360{\deg} input image onto a set of tangent planes that produce perspective views, which are suitable for the latest, most accurate state-of-the-art perspective monocular depth estimators. We recombine the individual depth estimates using deformable multi-scale alignment followed by gradient-domain blending to improve the consistency of disparity estimates. The result is a dense, high-resolution 360{\deg} depth map with a high level of detail, also for outdoor scenes which are not supported by existing methods.
翻译:360=deg} 相机可以在一次镜头中捕捉完整环境, 使360=deg} 图像在许多计算机视觉任务中具有吸引力。 然而, 360=deg} 数据, 特别是对于新观点合成和虚拟现实应用十分重要的2K( 2048$\time$1024) 高分辨率数据, 特别是对于对于新观点合成和虚拟现实应用非常重要的2K( 2048$ times1024) 来说, 单向深度估计仍然是一个挑战。 目前以CNN为基础的方法由于 GPU 内存有限, 无法支持这样的高分辨率。 在这项工作中, 我们提出了一个灵活的框架, 用于使用正切图像从高分辨率360=deg} 图像中进行单向深度估计。 我们将360=deg} 输入图像投放到一组热度平面上, 以产生视觉视图, 适合最新的、 最精确的状态视角单向深度估计器 。 我们使用可变形多尺度的组合后再重新测量个人深度估计数, 来提高差异估计的一致性。 。 。 结果是一张密度高分辨率的、 360=deg} 深度地图, 深度图, 和高精密, 地图, 也不受现有方法支持的室不支持。