Monocular (relative or metric) depth estimation is a critical task for various applications, such as autonomous vehicles, augmented reality and image editing. In recent years, with the increasing availability of mobile devices, accurate and mobile-friendly depth models have gained importance. Increasingly accurate models typically require more computational resources, which inhibits the use of such models on mobile devices. The mobile use case is arguably the most unrestricted one, which requires highly accurate yet mobile-friendly architectures. Therefore, we try to answer the following question: How can we improve a model without adding further complexity (i.e. parameters)? Towards this end, we systematically explore the design space of a relative depth estimation model from various dimensions and we show, with key design choices and ablation studies, even an existing architecture can reach highly competitive performance to the state of the art, with a fraction of the complexity. Our study spans an in-depth backbone model selection process, knowledge distillation, intermediate predictions, model pruning and loss rebalancing. We show that our model, using only DIW as the supervisory dataset, achieves 0.1156 WHDR on DIW with 2.6M parameters and reaches 37 FPS on a mobile GPU, without pruning or hardware-specific optimization. A pruned version of our model achieves 0.1208 WHDR on DIW with 1M parameters and reaches 44 FPS on a mobile GPU.


翻译:单体(弹性或量度)深度估计是各种应用,如自主车辆、增强现实和图像编辑等的关键任务。近年来,随着移动设备越来越多,准确和移动友好的深度模型越来越重要。越来越精确的模型通常需要更多的计算资源,这抑制了移动设备使用此类模型。移动使用案例可以说是最不受限制的案例,需要高度准确但移动友好的建筑。因此,我们试图回答以下问题:如何改进模型而不增加更多复杂性(例如参数)?为此,我们系统地探索不同层面相对深度估算模型的设计空间,我们通过关键设计选择和通缩研究,显示即使是现有结构也能够达到高度竞争性的工艺状态,从而限制在移动设备上使用这种模型。我们的研究涉及一个深入的骨干模型选择过程、知识蒸馏、中间预测、模型调整和损失再平衡。我们展示了我们的模型,仅使用监督数据集(即DIW),在44-W(W)上相对深度估算模型的设计空间数据,我们通过关键的设计选择和减缩研究显示,甚至现有结构可以达到艺术状态,具有部分的PPPPPSDR 12 模型,在4-PPPM 上实现了0.156的硬硬件版本。

0
下载
关闭预览

相关内容

专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
已删除
将门创投
5+阅读 · 2017年10月20日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
相关VIP内容
专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
相关资讯
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
已删除
将门创投
5+阅读 · 2017年10月20日
Top
微信扫码咨询专知VIP会员