【苏黎世联邦理工2022年博士论文】《视觉 SLAM 的事件驱动特征检测和跟踪》

传统基于帧的相机由于其紧凑、低成本以及能够提供丰富的外部感知测量能力，而已经成为基于计算机视觉的众多应用中的首选传感器。尽管这些传感器在该领域占主导地位，但它们在普通的、真实的场景中表现出了局限性，在这些场景中普遍存在有害的影响，如高速运动中的运动模糊或在光照不足的场景中过度/不足的曝光。

如今多种新型技术在挑战传统相机的主导地位，最近出现的受生物启发的事件相机由于其高速传感、高动态范围（HDR）能力和低功耗，为强大的感知能力开辟了令人兴奋的研究可能性。尽管它们具有很好的特性，但由于其独特的输出，事件相机带来了许多挑战：稀疏和异步的事件流，只捕捉到单个像素的增量感知变化。这种截然不同的传感方式使得大多数传统的计算机视觉算法在没有大量的事先调整的情况下无法兼容，因为它们最初是为处理以固定帧率捕获的图像序列而设计的。因此，文献中大部分现有的基于事件的算法都选择将事件流离散成批次，并按顺序进行处理，有效地恢复到类似于帧的表示，以试图模仿传统传感器的图像序列的处理。在传统强度图像的质量受到严重影响的情况下，这种事件分批算法明显优于其他基于框架的替代算法，揭示了这些新传感器的内在潜力并使其得到普及。然而，迄今为止，许多新设计的基于事件的算法仍然依赖于对事件流的离散化处理，这表明事件相机的全部潜力有待于通过更自然地处理其输出来加以利用。

这篇论文脱离了对传统的基于帧的方法的简单改编，而是主张开发新的算法，为事件相机综合设计，以充分利用其有利的特性。特别是，本论文的重点在于描述一系列新颖的策略和算法，这些策略和算法以纯粹的事件驱动方式进行操作，即在每个事件产生后立即进行处理，而不对事件进行任意批次的中间缓冲，从而避免了处理过程中的任何额外延迟。与较简单的事件分批处理相比，这种事件驱动的过程带来了额外的挑战，而这些挑战主要归因于以事件速度产生可靠结果的要求，这对它们在现实世界的应用中的部署产生了重大的实际影响。

本论文的主要内容是设计事件驱动的算法，用于高效和异步的特征检测和跟踪事件相机，涵盖了这种新兴传感方式的模式识别和数据关联的关键因素。特别是，本论文的一个重要部分致力于研究事件相机的视觉角落，从而设计出创新的事件驱动方法，以检测和跟踪角落事件。此外，本论文还研究了基于补丁的通用特征的使用和它们的事件驱动跟踪，以有效检索高质量的特征轨迹。本论文中开发的所有算法都是迈向完全由事件驱动的、基于特征的同步定位与地图构建（SLAM）管道的重要垫脚石。本论文扩展了最先进的事件驱动方法的既定概念，并进一步探索了事件驱动范式在现实单眼设置中的局限性。虽然所提出的方法仅依赖于事件数据，但所获得的见解对于未来将基于事件的视觉与其他互补的传感方式相结合的研究具有开创性意义。这里进行的研究为建立一个新的事件驱动算法系列铺平了道路，该算法高效、稳健、可扩展地运行，设想了基于事件的计算机视觉的潜在范式转变。

本博士论文的结构是由三章组成的累积性论文，而作为本研究一部分的所有出版物都在附录中。具体来说，第1章提供了本论文在机器人学和计算机视觉领域的背景，介绍了传统的和基于事件的视觉传感器的基本原理，它们的优势和局限。此外，第1章还介绍了所要解决的研究问题的范围，以及相关主题的技术现状概述。第2章总结了导致本论文结论的所有已发表的稿件的内容，将其置于各自的研究背景下，描述其贡献，并建立它们之间的联系。第3章概述了我们的研究结果，并在我们的工作基础上提出了潜在的未来研究方向。