美军重点项目应用 |《为广域和全动态视频中的持久目标跟踪建立外观模型》145页

目标跟踪是计算机视觉和自主系统的核心要素。因此，单个和多个目标跟踪已被广泛研究，特别是针对全运动视频序列。从移动的机载平台上获取广域运动图像（WAMI）是最近的一项传感器创新，它具有一系列国防和民用应用，提供了其他传感器系统无法比拟的高密度空间和时间覆盖的独特组合。机载 WAMI 对目标跟踪提出了一系列挑战，包括大数据量、多相机阵列、图像稳定、低分辨率目标、目标外观变化和高背景杂波，尤其是在城市环境中。时间变化的低帧率大图像给可靠的长期多目标跟踪带来了一系列困难。本论文的重点是特征概率跟踪（LOFT）试验台系统，它是一种基于外观（单实例）的目标跟踪器，专为 WAMI 设计，采用先跟踪后检测的模式。在检测前使用动态跟踪的动机是为了在计算成本最低的环境中处理大规模数据。在城市场景中，由于存在许多相似的目标、杂波、高层建筑，因此在大画面上到处搜索一个目标是不现实的，而且还会带来计算成本大幅增加的额外负担。LOFT 利用滤波和动态技术将搜索区域限制在大画面中一个更现实的区域内，并利用多种特征来识别感兴趣的目标，从而绕过了这一难题。感兴趣的目标预计会以边界框的形式输入到算法中。这项工作的主要目标是提出一种符合 LOFT 先跟踪后检测模式的外观更新建模策略，并展示整个系统与其他最先进的跟踪算法相比的准确性，以及在使用和不使用该策略的情况下的准确性。在设计使用 Radon 变换的各种信息线索的更新策略时，我们考虑到了某些性能参数，例如计算成本的最小增加以及整个系统精确率和召回率的显著提高。这一点已通过使用文献中的标准评估技术来证明。作者认为，LOFT WAMI 追踪器的扩展包括一个更详细的外观模型，其更新策略非常适合于持续目标追踪，这一点非常新颖。在这项工作的帮助下，LOFT 的核心部分已作为多个政府研发项目的一部分进行了评估，其中包括美国空军研究实验室的 "指挥、控制、通信、计算机、情报、监视和侦察（C4ISR）企业到边缘（CETE）"、美国陆军研究实验室的 "高级视频活动分析（AVAA）"以及一个用于边缘处理的云上细粒度分布式计算架构。为跟踪标准视频中的目标开发了简化版 LOFT，并参加了与主要计算机视觉会议同时举行的视觉目标跟踪（VOT）挑战赛。在城市场景的航拍 WAMI 中，包含拟议外观适应模块的 LOFT 能产生明显更好的跟踪效果。

提纲

在这篇论文中，试图通过提出一种跟踪管道来应对其中的大部分挑战，这种管道是为处理特定困难而量身定制的，例如通过使用拉东变换的新用法来处理方向变化问题，通过使用多尺度特征来处理低像素级分辨率问题，通过在外观信息不可靠时切换到预测来处理遮挡问题，以及设计一个足够灵活的平台，以便我们为研究人员提供一种更加标准化的方法来利用和研究单个模块对不同类型数据集的整体跟踪质量的影响。论文的其余部分安排如下。

第 2 章简要介绍了跟踪方面的文献。WAMI 追踪文献与标准图像追踪有很大不同。从这一文献调查中可以清楚地看出，各种技术都偏向于某一方。

第 3 章提出了我们新颖的跟踪管道。LOFT 作为一个特征融合和外观建模系统，具有高度模块化的特点。第一步，目标和搜索区域需要用一个强大的特征集来描述。随后是匹配步骤，在我们的案例中，匹配步骤包括多个一对一的特征匹配，然后是融合过程，将匹配信息汇总，生成一个单一的概率图。此外，还介绍了有助于自动终止和智能处理特殊情况（如数据缺失或损坏）的其他模块。

第 4 章介绍了拉东变换以及特殊情况下的方程。这一章介绍了在方位估算中使用该技术的原因和动机。

第 5 章介绍了我们提出的 LOFT 管道，其中增加了由方向估计得出的外观建模。该章详细回顾了拉东变换的技术和用法，随后介绍了如何将这些信息转换为有助于外观建模的描述符的算法。

第 6 章介绍了我们的算法工程实现及其模块。此外，还详细介绍了与不同程序下其他系统的集成工作。模块架构与交互图一起展示。本章还介绍了一种用于插入额外 3D 信息的新方法，该方法有可能在航空图像中实现更好的跟踪效果。

第 7 章展示了我们的实验方法，并介绍了数据和最终结果。我们详细解释了性能数据，并展示了 LOFT 如何优于文献中的各种跟踪器，同时还提供了一份详细的性能表，说明添加外观建模技术后的改进量。

第8章展示了我们在云计算架构上运行LOFT的合作成果。该章主要关注在流式图像管道中以网络模式运行灾难场景时对 LOFT 的评估。利用云计算环境进行资源分配，并运行像 LOFT 这样数据输入量大的算法，将是使追踪更加普及的一个步骤。本章重点介绍了此类系统的工程设计方面，并通过实验展示了可扩展追踪的可行性。最后一章总结了所提出的工作，并讨论了未来的发展方向。

图 3.1： 特征概率跟踪（LOFT）处理管道显示的主要组件包括特征提取、结合模板进行特征似然图估算、使用支持向量机（SVM）分类进行车辆检测、融合模块（也包含基于运动预测和基于运动背景减法的融合模块），以产生用于目标定位的融合似然图。轨迹管理包括终止模块、多重假设跟踪（MHT）或不多重假设跟踪（MHT）预测以及用于自适应目标建模的目标外观更新。