In this paper, we introduce the task of multi-view RGB-based 3D object detection as an end-to-end optimization problem. To address this problem, we propose ImVoxelNet, a novel fully convolutional method of 3D object detection based on monocular or multi-view RGB images. The number of monocular images in each multi-view input can variate during training and inference; actually, this number might be unique for each multi-view input. ImVoxelNet successfully handles both indoor and outdoor scenes, which makes it general-purpose. Specifically, it achieves state-of-the-art results in car detection on KITTI (monocular) and nuScenes (multi-view) benchmarks among all methods that accept RGB images. Moreover, it surpasses existing RGB-based 3D object detection methods on the SUN RGB-D dataset. On ScanNet, ImVoxelNet sets a new benchmark for multi-view 3D object detection. The source code and the trained models are available at \url{https://github.com/saic-vul/imvoxelnet}.
翻译：在本文中, 我们介绍多视图 RGB 基基于 3D 对象检测的任务, 将其作为一个端到端优化的问题。 为了解决这个问题, 我们建议使用IMVoxelNet, 这是基于单视或多视图 RGB 图像的一种全新的全演3D 对象检测方法。 每个多视图输入中的单视图像数量可以在培训和推断过程中变异; 实际上, 这个数字对于每个多视图输入来说可能是独一无二的。 ImVoxelNet 成功地处理室内和室外的景色, 这使得它具有通用性。 具体地说, 它在接受 RGB 图像的所有方法中, 在 KITTI (离子) 和 nuScenes (多视图) 的汽车检测中取得了最先进的结果。 此外, 它超过了 SUN RGB rGB- D 数据集中现有的3D 目标检测方法 。 在 Scampnet 上, ImVoxelNet 为多视图 3D 对象检测设定了一个新的基准。 源码和经过培训的模型可在 url{ gas/ github. / commev/ sevov}
相关内容
微信扫码咨询专知VIP会员