In recent years, great progress has been made in the Lift-Splat-Shot-based (LSS-based) 3D object detection method, which converts features of 2D camera view and 3D lidar view to Bird's-Eye-View (BEV) for feature fusion. However, inaccurate depth estimation (e.g. the 'depth jump' problem) is an obstacle to develop LSS-based methods. To alleviate the 'depth jump' problem, we proposed Edge-Aware Bird's-Eye-View (EA-BEV) projector. By coupling proposed edge-aware depth fusion module and depth estimate module, the proposed EA-BEV projector solves the problem and enforces refined supervision on depth. Besides, we propose sparse depth supervision and gradient edge depth supervision, for constraining learning on global depth and local marginal depth information. Our EA-BEV projector is a plug-and-play module for any LSS-based 3D object detection models, and effectively improves the baseline performance. We demonstrate the effectiveness on the nuScenes benchmark. On the nuScenes 3D object detection validation dataset, our proposed EA-BEV projector can boost several state-of-the-art LLS-based baselines on nuScenes 3D object detection benchmark and nuScenes BEV map segmentation benchmark with negligible increment of inference time.


翻译:近年来,Lift-Splat-Shot(LSS) 的三维目标检测方法取得了巨大的进展,该方法将摄像机视图和三维激光雷达融合到鸟瞰图中。然而,不准确的深度估计(如“深度跳变”问题)是开发 LSS 方法的障碍。为了缓解“深度跳变”问题,我们提出了边缘感知鸟瞰投影仪。通过耦合提出的边缘感知深度融合模块和深度估计模块,所提出的边缘感知鸟瞰投影仪解决了这个问题,并对深度执行了精细的监督约束。此外,我们提出了稀疏深度监督和梯度边缘深度监督,以约束学习全局深度和局部边缘深度信息。我们的边缘感知鸟瞰投影仪是任何 LSS-based 三维目标检测模型的即插即用模块,有效地提高了基线性能。我们在 nunscenes 基准测试中展示了其有效性。在 nunscenes 三维目标检测验证数据集上,我们提出的边缘感知鸟瞰投影仪可以提升几个最先进的 LLS-based 基线在 nunscenes 3D 目标检测基准测试和 nunscenes BEV 地图分割基准测试的性能,而推理时间略微增加。

0
下载
关闭预览

相关内容

【博士论文】自然场景中不规则文字的检测和识别研究
专知会员服务
28+阅读 · 2022年12月18日
CVPR 2022 | 用于语义分割任务的跨图像关系型知识蒸馏
专知会员服务
22+阅读 · 2022年5月15日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
20+阅读 · 2022年4月20日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
大白话用Transformer做BEV 3D目标检测
PaperWeekly
1+阅读 · 2022年6月7日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月21日
Arxiv
12+阅读 · 2021年6月21日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员