In this paper, we propose a Bidirectional Attention Network (BANet), an end-to-end framework for monocular depth estimation (MDE) that addresses the limitation of effectively integrating local and global information in convolutional neural networks. The structure of this mechanism derives from a strong conceptual foundation of neural machine translation, and presents a light-weight mechanism for adaptive control of computation similar to the dynamic nature of recurrent neural networks. We introduce bidirectional attention modules that utilize the feed-forward feature maps and incorporate the global context to filter out ambiguity. Extensive experiments reveal the high degree of capability of this bidirectional attention model over feed-forward baselines and other state-of-the-art methods for monocular depth estimation on two challenging datasets -- KITTI and DIODE. We show that our proposed approach either outperforms or performs at least on a par with the state-of-the-art monocular depth estimation methods with less memory and computational complexity.


翻译:在本文中,我们提出了一个双向注意网络(Bannet),这是一个单向深度估计的端对端框架(MDE),它解决了将当地和全球信息有效纳入进化神经网络的局限性。这一机制的结构来自神经机翻译的牢固概念基础,并提出了一种与经常性神经网络动态性质类似的对计算进行适应性控制的轻量机制。我们引入了双向注意模块,利用进进取前特征图,并纳入全球背景以排除模糊性。广泛的实验揭示了这一双向注意模型在进取前基线和其他最先进的单向深度估计方法上对两个具有挑战性的数据集(KITTI和DIODE)具有高度的双向注意能力。我们表明,我们所提议的方法要么超越了最先进的单向深度估算方法,要么至少与最先进的单向深度估算方法相当,记忆和计算复杂性较小。

1
下载
关闭预览

相关内容

MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
最新《Transformers模型》教程,64页ppt
专知会员服务
310+阅读 · 2020年11月26日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
72+阅读 · 2020年8月2日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
40+阅读 · 2019年10月9日
【泡泡一分钟】高动态环境的语义单目SLAM
泡泡机器人SLAM
5+阅读 · 2019年3月27日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
Arxiv
27+阅读 · 2020年12月24日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
LIMO: Lidar-Monocular Visual Odometry
Arxiv
3+阅读 · 2018年7月19日
VIP会员
Top
微信扫码咨询专知VIP会员