【CMU】基于图神经网络的联合检测与多目标跟踪

目标检测和数据关联是多目标跟踪系统的关键组成部分。尽管这两个组件高度依赖于彼此，但MOT中的一个流行趋势是将检测和数据关联作为单独的模块执行，并按级联顺序处理。由于这种级联过程，所生成的MOT系统只能执行前向推理，而不能将错误反向传播到整个管道并进行纠正。这导致整个管道的性能低于最佳水平。为了解决这个问题，最近的工作联合优化了检测和数据关联，并形成了一个综合的MOT方法，已被证明提高了检测和跟踪的性能。为此，我们提出了一种基于图神经网络(GNNs)的联合MOT方法。该方法的关键思想是，GNNs能够在空间和时间域内显式地建模多个目标之间的复杂交互，这对于学习识别特征进行检测和数据关联至关重要。我们还利用了运动特征与外观特征一起使用时对MOT有用这一事实。因此，我们提出的联合MOT方法也将外观和运动特征纳入我们的基于图的特征学习框架，从而使MOT更好地学习特征。在MOT挑战数据集上的大量实验表明，我们提出的方法在目标检测和MOT检测上都取得了最先进的性能。