Depth estimation is essential for various important real-world applications such as autonomous driving. However, it suffers from severe performance degradation in high-velocity scenario since traditional cameras can only capture blurred images. To deal with this problem, the spike camera is designed to capture the pixel-wise luminance intensity at high frame rate. However, depth estimation with spike camera remains very challenging using traditional monocular or stereo depth estimation algorithms, which are based on the photometric consistency. In this paper, we propose a novel Uncertainty-Guided Depth Fusion (UGDF) framework to fuse the predictions of monocular and stereo depth estimation networks for spike camera. Our framework is motivated by the fact that stereo spike depth estimation achieves better results at close range while monocular spike depth estimation obtains better results at long range. Therefore, we introduce a dual-task depth estimation architecture with a joint training strategy and estimate the distributed uncertainty to fuse the monocular and stereo results. In order to demonstrate the advantage of spike depth estimation over traditional camera depth estimation, we contribute a spike-depth dataset named CitySpike20K, which contains 20K paired samples, for spike depth estimation. UGDF achieves state-of-the-art results on CitySpike20K, surpassing all monocular or stereo spike depth estimation baselines. We conduct extensive experiments to evaluate the effectiveness and generalization of our method on CitySpike20K. To the best of our knowledge, our framework is the first dual-task fusion framework for spike camera depth estimation. Code and dataset will be released.
翻译:深度估算对于诸如自主驾驶等各种重要的现实世界应用至关重要。 但是, 在高速度假设中, 它由于传统相机只能捕捉模糊的图像而严重性能退化。 解决这个问题, 钉子相机的设计是为了捕捉像素光亮度的高框架率。 然而, 使用钉子相机的深度估算仍然非常困难, 使用传统的单镜或立体深度估算算法, 这套算法以光度一致性为基础。 在本文中, 我们提议一个新型的不确定性指导深度深度估算( UGDF) 框架, 以将单镜和立体深度估计网络的预测与钉子相机的深度估算结合起来。 我们的框架的动机是, 立体深度估算在近距离上取得更好的效果。 因此, 我们引入了双轨深度估算架构, 采用联合培训策略, 并估算分布的不确定性, 以整合固态和立体结果。 为了展示对传统摄像深度估算的深度估算的深度估算的优势, 我们为名为CitySpike20K的双向深度估算,, 我们的市级深度估算, 我们的深度估算, 我们的深度估算, 我们的深度模型的深度估算, 我们的深度估算, 我们的深度估算, 我们的深度估算, 我们的深度估算, 我们的 将达到整个的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 直基底的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 直观的 的 的 的 的 的 的 的 的 基础的 的 的 的 的 的 的 的 的 的 的 基础的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的