汇总 | SLAM、重建、语义相关数据集大全

会员服务 ·

汇总 | SLAM、重建、语义相关数据集大全

2019 年 5 月 29 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

一主要针对自动驾驶：

1.KITTI数据集：

http://www.cvlibs.net/datasets/kitti/index.php

（RGB+Lidar+GPS+IMU）

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像 (stereo)，光流 (optical flow)，视觉里程计(visual odometry)，3D物体检测 (object detection) 和 3D跟踪 (tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。
Andreas Geiger and Philip Lenz and Raquel Urtasun, Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite, CVPR'12, cited by 3000+
该数据集论文共8页，主要由三部分组成：Introduction、Challenges and Methodolgy、Evaluation：

Introduction：列一下相关的开源数据集；说明自己做这个数据集的原因（现有数据集都过分简单，严格限制路况从而没有包含现实路上的实际情况等）；介绍自己数据集的采集方式、包含的内容等；
Challenges and Methodolgy：主要写了数据采集会遇到的问题以及要做的所有事情。如，传感 setup；标定方式；groundtruth怎么获取;如何选取好的数据作为benchmark；评价标准。
Experimental Evaluation：将state-of-the-art的系统在自己的数据集上跑结果&对比&分析。

2.Oxford数据集：

http://robotcar-dataset.robots.ox.ac.uk/datasets/（RGB+Lidar+GPS+IMU）

自动驾驶数据集。对牛津的一部分连续的道路进行了上百次数据采集，收集到了多种天气行人和交通情况下的数据，也有建筑和道路施工时的数据，总的数据长度达1000小时以上。
W. Maddern, G. Pascoe, C. Linegar and P. Newman, "1 Year, 1000km: The Oxford RobotCar Dataset" The International Journal of Robotics Research (IJRR), 2016. cited by 200+

3.其余自动驾驶相关数据集有：

Cityscape, Comma.ai, BDDV, TORCS, Udacity, GTA, CARLA, Carcraft

二包含Depth的SLAM与三维重建数据集：

1.ASL Kinect数据集

http://projects.asl.ethz.ch/datasets/doku.php

由Kinect采集的包含三种不同难度的27个序列，GT得自Vicon，采集场景如下：

F. Pomerleau, S. Magnenat, F. Colas, M. Liu, R. Siegwart, "Tracking a Depth Camera: Parameter Exploration for Fast ICP", IROS 2011， cited 91
论文主要内容：开源了一个基于ROS的模块化的ICP库,可以快速的测试不同变种ICP的参数和性能; 然后开源自己采集的这个数据集，并在该数据集的基础上做实验，考虑了depth的噪声，采集频率，FOV等因素对ICP的影响。

2.ASL RGB-D 数据集

http://projects.asl.ethz.ch/datasets/doku.phpid=kmavvisualinertialdatasets#downloads

就一个序列，但是其论文主要是提出一个系统，不是将开源数据集作为贡献。数据集：RGB-D，轨迹的GT来自Vicon，并用Lidar得到场景结构的GT（点云）
Helen Oleynikova, Zachary Taylor, Marius Fehr, Juan Nieto, and Roland Siegwart, “Voxblox: Building 3D Signed Distance Fields for Planning”, IROS'17, cited 40
这篇论文主要做的问题是机器人路径规划需要的建图：是用 Euclidean Signed Distance Fields (ESDFs) 而非 Octomap（路径规划常用地图）来建立四轴飞行器优化路径需要的地图；他们的主要贡献是提出方法使得在飞行器上基于CPU能实时地完成从建立的TSDF图中提取ESDF并完成路径规划。

3.TUM RGB-D：

http://vision.in.tum.de/data/datasets/rgbd-dataset/download

数据集包含一些室内的序列，在不同的纹理下，不同的光照和不同的结构条件，从Kinect传感器采集到的数据中分别去评估物体的重建和SLAM/视觉里程计的性能。但是这个数据集还是没有完整的IMU。
J. Sturm and N. Engelhard and F. Endres and W. Burgard and D. Cremers，A Benchmark for the Evaluation of RGB-D SLAM Systems， IROS'12， cited 1200+

4.ICL-NUIM:

http://www.doc.ic.ac.uk/~ahanda/VaFRIC/iclnuim.html

虚拟数据集，但是没有IMU。该集旨在对RGB-D、视觉测距和SLAM算法进行基准测试。两个不同的场景（起居室和办公室场景）提供了基本事实。客厅具有3D表面地面实况以及深度图和相机姿势，用于标记相机轨迹而且还用于重建。办公室场景仅带有轨迹数据，并且没有任何明确的3D模型。
A. Handa and T. Whelan and J.B. McDonald and A.J. Davison， A Benchmark for {RGB-D} Visual Odometry, {3D} Reconstruction and {SLAM} ，ICRA‘14，cited 340

5.VaFRIC：

http://www.doc.ic.ac.uk/~ahanda/VaFRIC/index.html

虚拟数据集，没有IMU。ICL-NUIM的同一个团队，这个数据集只有一个目的,测试不同曝光时间对相机跟踪的影响,我的想法的萌芽。网站有提供一些做虚拟数据集的方法
A. Handa and R. A. Newcombe and A. Angeli and A. J. Davison， Real-Time Camera Tracking: When Is High Frame-Rate Best? , ECCV'12 , cited 100+

三不含Depth的SLAM数据集：

1.ASL EuRoC：

http://projects.asl.ethz.ch/datasets/doku.phpid=kmavvisualinertialdatasets

双目RGB+IMU,GT来自于Vicon和Lidar，EuRoC。数据集包含11个双目序列，这些序列是由微型飞行器在两个不同的房间和一个大型工业环境中飞行时记录下来的。提供两种类型的数据集: 第一个包含来自Leica多站的三维位置地面真值，并着重于视觉惯性的评估SLAM算法在一个真实的工业场景。
M. Burri, J. Nikolic, P. Gohl, T. Schneider, J. Rehder, S. Omari, M. Achtelik and R. Siegwart, The EuRoC micro aerial vehicle datasets, (IJRR'16 ) cited 258
IJRR是机器人顶刊，SCI一区，该论文应该是约稿。论文分三部分：1. 传感器的组装以及坐标的设定；2. 所采集数据集的细节描述以及如何使用；3. 如何标定传感器以及GT。

2.TUM VI banchmark：

http://vision.in.tum.de/data/datasets/visual-inertial-dataset (fisheye+IMU)

Schubert, D.Goll, T.Demmel, N.Usenko, V. Stuckler, J.& Cremers, D. (2018). The TUM VI Benchmark for Evaluating Visual-Inertial Odometry. IROS'18
开源做的非常好，给的信息非常详细，但公开的比较晚，有上一个工作在了，所以这个工作的引用还上不去。

3.TUM monoVO:

http://vision.in.tum.de/data/datasets/mono-dataset

（fisheye-only）

A Photometrically Calibrated Benchmark For Monocular Visual Odometry (J. Engel, V. Usenko and D. Cremers), arXiv16
论文没有正式发表，主要写了光度标定校准等的方法以及与一些开源数据集的比对。该数据集很少人用，主要是给他们自己的DVO用。

4.TUM LSD ：

Large-Scale Direct SLAM for Omnidirectional Cameras (D. Caruso, J. Engel and D. Cremers), In International Conference on Intelligent Robots and Systems (IROS), 2015. cited 100+

四包含语义的数据集：

1.NYU:

http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html

kinect采集的主要针对语义分割的数据集。RGB-D序列+手标label
Nathan Silberman, Pushmeet Kohli, Derek Hoiem, Rob Fergus, Indoor Segmentation and Support Inference from RGBD Images，ECCV'12

2.Matterport 3D:

http://niessner.github.io/Matterport/

用18对RGB-D图像生成全景图, 主要做语义分割，有90个场景
Chang, Angel and Dai, Angela and Funkhouser, Thomas and Halber, Maciej and Niessner, Matthias and Savva, Manolis and Song, Shuran and Zeng, Andy and Zhang, Yinda, Matterport3D: Learning from RGB-D Data in Indoor Environments, 3DV'17

3.ScanNet：

http://www.scan-net.org/#code-and-data

作者Angela Dai在BundleFusion后的下一个工作。是真实世界数据集，主要针对语义分割。数据集的生成方式是通过利用BundleFusion将不同用户基于structure io采集的RGB-D序列重建成场景三维模型，在模型的基础上打语义标签，然后再将语义信息重投影回每张图片上生成图像的语义GT。
Dai, Angela and Chang, Angel X. and Savva, Manolis and Halber, Maciej and Funkhouser, Thomas and Niener, Matthias, ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes，CVPR’17

4.InteriorNet:

http://interiornet.org/

目前发现的唯一一个同时包含RGB-D-IMU的(虚拟)数据集。有非常多的场景，做的也非常专业，提供了语义标签，fisheye，模拟了快速相机运动以及图像模糊。遗憾的是数据集还没有开放下载。
Wenbin Li and Sajad Saeedi and John McCormac and Ronald Clark and Dimos Tzoumanikas and Qing Ye and Yuzhong Huang and Rui Tang and Stefan Leutenegger， InteriorNet: Mega-scale Multi-sensor Photo-realistic Indoor Scenes Dataset, British Machine Vision Conference (BMVC) 2018

5.Stanford 2D-3D-Semantics:

http://buildingparser.stanford.edu/dataset.html

提供大尺度场景的三维以及语义信息，是由采集的全景图生成，数据集主要是拿来做Building Parsing的。

Gibson+Environment

提供大量真实场景的三维模型，包含纹理、几何以及语义，以此来模拟训练移动机器人的感知能力(AI系统)

6.SUNCG：

http://sscnet.cs.princeton.edu/

用虚拟场景渲染单个视角的彩色深度和语义，主要拿来做基于单帧图像的语义场景修复。
Shuran Song, Fisher Yu, Andy Zeng, Angel X. Chang, Manolis Savva, Thomas Funkhouser，Semantic Scene Completion from a Single Depth Image，CVPR 2017

相关内容

数据集

关注 86

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。
Data set（或dataset）是一个数据的集合，通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量，如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数，该数据集的数据可能包括一个或多个成员。

【2020最新干货综述】基于知识图谱嵌入的链接预测综述， 43页pdf

专知会员服务

166+阅读 · 2020年5月24日

基于视觉的三维重建关键技术研究综述

专知会员服务

160+阅读 · 2020年5月1日

3D目标检测进展综述

专知会员服务

191+阅读 · 2020年4月24日

专知会员服务

103+阅读 · 2020年4月9日

NLP基础任务:文本分类近年发展汇总,68页超详细解析