Direct time-of-flight (dToF) sensors are promising for next-generation on-device 3D sensing. However, to achieve the sufficient signal-to-noise-ratio (SNR) in a compact module, the dToF data has limited spatial resolution (e.g., ~20x30 for iPhone dToF), and it requires a super-resolution step before being passed to downstream tasks. In this paper, we solve this super-resolution problem by fusing the low-resolution dToF data with the corresponding high-resolution RGB guidance. Unlike the conventional RGB-guided depth enhancement approaches which perform the fusion in a per-frame manner, we propose the first multi-frame fusion scheme to mitigate the spatial ambiguity resulting from the low-resolution dToF imaging. In addition, dToF sensors provide unique depth histogram information for each local patch, and we incorporate this dToF-specific feature in our network design to further alleviate spatial ambiguity. To evaluate our models on complex dynamic indoor environments and to provide a large-scale dToF sensor dataset, we introduce DyDToF, the first synthetic RGB-dToF video dataset that features dynamic objects and a realistic dToF simulator following the physical imaging process. We believe the methods and dataset are beneficial to a broad community as dToF depth sensing is becoming mainstream on mobile devices.
翻译:直接飞行时间(dToF)传感器对下一代的3D传感器来说很有希望。然而,为了在一个紧凑模块中实现足够的信号到噪音拉迪奥(SNR),dToF数据的空间分辨率有限(例如,iPhone dToF ~20x30),它需要超分辨率步骤才能传递到下游任务。在本文件中,我们通过将低分辨率 dToF 数据与相应的高分辨率 RGB 指南相结合,来解决这一超级解析问题。与传统的 RGB 引导的深度增强方法不同,该方法以每个框架的方式进行聚合,我们提议采用第一个多框架集成计划,以缓解低分辨率 dF 成像造成的空间模糊性。此外,dToF 传感器为每个本地补接合提供独特的深度直方图谱信息,我们将这一 dToF 特有的特性纳入我们的网络设计,以进一步减轻空间模糊性。为了评估我们复杂的室内环境模型,并提供大型的dF 感应感测数据集,我们提出一个符合现实的D-F 移动模型,我们成为一个现实的动态的动态的图像模型,成为一个动态的S-F 和图像的模型的模型的模型的MT-toto相信一个S-toto ad-to the dimalalalalald-to dsalaldaldalal vialalalalalalal vialdaldaldaldaldaldal vial vialdaldal vialdaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldaldal