In recent years, monocular depth estimation is applied to understand the surrounding 3D environment and has made great progress. However, there is an ill-posed problem on how to gain depth information directly from a single image. With the rapid development of deep learning, this problem is possible to be solved. Although more and more approaches are proposed one after another, most of existing methods inevitably lost details due to continuous downsampling when mapping from RGB space to depth space. To the end, we design a Multi-scale Features Network (MSFNet), which consists of Enhanced Diverse Attention (EDA) module and Upsample-Stage Fusion (USF) module. The EDA module employs the spatial attention method to learn significant spatial information, while USF module complements low-level detail information with high-level semantic information from the perspective of multi-scale feature fusion to improve the predicted effect. In addition, since the simple samples are always trained to a better effect first, the hard samples are difficult to converge. Therefore, we design a batch-loss to assign large loss factors to the harder samples in a batch. Experiments on NYU-Depth V2 dataset and KITTI dataset demonstrate that our proposed approach is more competitive with the state-of-the-art methods in both qualitative and quantitative evaluation.


翻译:近年来,单体深度估计用于了解周围的3D环境,并取得了巨大进展。然而,在如何直接从一个图像中获取深度信息方面存在着一个问题。随着深层学习的迅速发展,这一问题有可能得到解决。虽然提出了越来越多的方法,但大多数现有方法不可避免地会丢失细节,因为从RGB空间到深层空间的测绘工作不断缩小抽样。最后,我们设计了一个多尺度地物网络(MSFNet),其中包括增强多样性模块和高模集成模块。EDA模块使用空间关注方法学习重要的空间信息,而USF模块则从多尺度地物融合的角度以高层次的语义信息补充低层次的详细信息,以提高预测的效果。此外,由于简单的样本总是经过培训,因此很难将硬样品集中起来。因此,我们设计了一批损失,将大的损失因素分配给较难的样本,以分批方式学习重要的空间信息,而USF模块则用低层次的精度信息补充了低层次的详细信息,从多尺度的特征融合角度来改进预测的效果。此外,由于简单样品总是经过更好的训练,因此难以集中。因此,我们设计了一组比较具有竞争力的KDI-DSDIS2号数据模型的实验,同时展示了我们较具有竞争力的数据。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
ICRA 2019 论文速览 | 传统SLAM、三维视觉算法进展
计算机视觉life
50+阅读 · 2019年7月16日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
4+阅读 · 2018年3月19日
VIP会员
Top
微信扫码咨询专知VIP会员