《实时计算机视觉》美空军52页技术报告

将前景目标从背景中分离出来是许多视频处理管道的第一步。虽然现有的背景分离方法能够充分解决许多技术难题，如光照变化、动态背景（如飘动的树叶、挥舞的旗帜等）、相机抖动等），但它们在处理移动传感器方面有局限性，而且计算复杂性也很高。这是未来智能系统的一个主要限制，因为最近流行的移动传感器和小型平台需要在尺寸、重量和功率（SWaP）限制下进行板载处理。

这项小企业创新研究（SBIR）工作进行了一些创新，以处理这些挑战和解决最先进的限制： 这些创新包括：i）开发创新的数学模型和先进的算法，在此基础上有效地处理小型平台上的高效背景减除的挑战；以及ii）开发移动传感器和图像形成的观察几何的数学模型，并利用三维世界中刚体运动的低等级约束来有效检测独立移动的目标。第二阶段的工作开发了计算机视觉和机器学习算法，利用背景外观和运动的低等级约束来区分前景区域和背景。背景外观的低秩约束是基于理论和经验结果，这些结果表明，在不同的变换（如光照变化）下，对应于特定目标的矢量图像大约位于一个低维子空间上。此外，对运动的低秩约束利用了自由移动的传感器的观察几何学来区分前景和背景运动。通过将传感器运动与外观模型相结合，所开发的方法能够处理静态和移动的相机。背景分离算法也被移植到移动设备上，以提供实时性能，并在标准和内部数据集上进行了评估。在该项目中开发的技术为低成本移动设备上稳健有效的自动计算机视觉提供了一个自然的框架和基础。

拟议工作的首要目标是开发技术，在静态和自由移动的视频传感器中使用移动处理器实现实时背景/前景分离。

图1：提议的背景分离技术将使移动平台上的视频传感器得到利用，并有广泛的应用，包括：空中视频的利用、增强现实和游戏、高分辨率视频的边缘处理、可穿戴传感器和自主车辆。

视频传感器已经成为生活中所有领域中无处不在的信息来源（图1）。从国防到商业到消费领域，它们正被越来越多地用于实现广泛的应用。例如，固定和倾斜变焦（PTZ）相机通常被用来提供视觉监控、关键基础设施安全、商业智能和建筑自动化。同样，安装在无人机平台上的摄像机很容易成为情报、侦察和监视（ISR）数据和态势感知的最关键来源之一。此外，世界各地的消费者正在从手持设备（如智能手机）和可穿戴设备（如谷歌眼镜、GoPro等）产生大量的视频数据。

这些传感器产生的大量数据推动了对能够从丰富的视频数据中提取有用信息的自动化技术的需求。例如，自动视觉监控系统和空中视频开发工具被广泛用于检测和跟踪感兴趣的目标，并从视频中识别活动。然而，大多数现有的视觉分析系统都假定有大型的处理基础设施（强大的PC、服务器、GPU等），因此不能轻易应用于许多新的移动传感设备，或具有严格的尺寸、重量和功率（SWaP）限制的小型平台。因此，有必要开发高效的计算机视觉技术，使其能够使用易于与传感设备集成的低功耗、低成本的移动计算平台对视频进行实时利用。

图2：最先进的背景建模方法所使用的马赛克（上）和基于体素（下）的表示方法在计算上成本非常高，对移动平台来说不可行。

先进的背景分离技术的局限性：

许多视频处理管道的第一步是将前景目标与背景分离。这是通过背景分离算法完成的，该算法试图通过自适应地学习和模拟背景的特征来识别视频流中最相关的部分，并找到不符合学习模型的像素。作为自动视觉监控系统最关键的组成部分之一，背景分离问题已经在计算机视觉文献中得到了广泛的研究。人们提出了许多方法来解决其技术难题，如光照变化、动态背景（如飘动的树叶、挥舞的旗帜、喷泉等）、摄像机抖动、阴影和移动摄像机等。虽然现有的方法相当善于处理其中的许多挑战，但它们也有很高的计算复杂性（以像素数计），不适合移动平台。另一方面，如今产生的很大一部分视频数据是由移动传感器捕获的，例如，手持式智能手机、可穿戴设备（GoPro、谷歌眼镜等）以及安装在小型无人机上的传感器。然而，大多数现有的背景分离工作都集中在视频监控中使用的静态和PTZ相机的视频上。即使对于一些使用先进的在线优化和子空间估计技术[GK15, HBS12]进行快速背景分离的最新算法也是如此。因此，这些算法不能直接应用于来自移动传感器的视频。

那些试图解决移动传感器问题的方法也借鉴了静态摄像机算法的基本方法。这些方法首先创建新的表征（图2），以消除平台运动的影响，例如，背景马赛克（通过拼接后续帧的图像生成）或明确的三维模型（使用结构-运动和立体技术创建）。然后，从静态摄像机领域借来的背景分离技术被应用于这些新的表示。除了原始分离技术的复杂性之外，这种方法还为处理管道引入了更多计算上的复杂元素。例如，生成马赛克所需的图像拼接算法涉及非常昂贵的图像扭曲（转换）组件。同样，如果不使用GPU进行繁重的并行处理，从运动中获得结构和立体感的技术以及由此产生的三维体素代表就无法实时创建。

创新总结

为了应对上述挑战，Novateur Research Solutions和宾夕法尼亚大学的通用机器人、自动化、传感和感知（GRASP）实验室（以下简称Novateur团队）在SBIR工作期间进行了多项数学创新。这些创新包括开发创新的数学模型以及先进的计算机视觉和机器学习技术，能够有效地从各种场景的移动和静止传感器中分离背景和前景。

特别是，在第二阶段的工作中，该团队开发了代数模型，利用背景外观的低等级约束以及运动来区分前景区域和背景。背景外观的低秩约束是基于理论和经验结果，这些结果表明，在不同的变换（如光照变化）下，对应于给定物体的矢量图像大约位于一个低维子空间上。此外，对运动的低秩约束利用了自由移动的传感器的观察几何，以区分前景和背景运动。然后，该团队开发了基于代数优化（矩阵分解）和机器学习（神经网络）的新型算法，利用这些约束从移动平台上进行背景减除。

第一阶段开发的背景分离技术是

• 不需要创建昂贵的场景表征；
• 不对场景或平台运动做出假设；
• 与特定的计算架构或指令集无关。

因此，它们能够使用各种低成本、低功耗和轻量级的处理单元在静态和移动传感器的高分辨率图像中进行有效的背景分离。

第二阶段的成就：

在第二阶段的研究和开发工作中，完成的主要目标包括

在移动传感器视频中高效在线提取多个移动目标的新型代数框架--在第一阶段的工作中，Novateur团队将发现和分割独立移动物体的问题作为一个低等级的近似问题来解决。更具体地说，我们开发的技术涉及检测和跟踪各帧之间的特征，然后将这些跟踪结果汇总到不完整的矩阵中，其中缺失的条目反映了这样一个事实：随着摄像机在空间中的移动，特征会随着时间的推移而被遮挡。然后我们表明，我们可以利用这样的假设，即大部分场景是刚性移动的，以及仿射模型的结构，该模型规定这些轨迹中的大部分必须位于高维空间的三维流形上。我们方法的下一个关键想法是利用在线不完全矩阵分解技术，快速有效地从测量中提取这个三维子空间结构。一旦这样做了，独立移动的障碍物就可以通过识别低等级模型的离群值来恢复，然后根据图像中的接近程度将这些特征分组。第二阶段的工作在第一阶段模型的基础上进一步发展，纳入了子空间跟踪[HBS12]和动态模式分解[GK15, KFB15]，并利用背景模型的低秩属性来实时提取前景像素。此外，第二阶段的工作还开发了新的机器学习模型，利用低维约束将静态的三维场景几何与独立移动的物体分开。

利用背景分离技术作为注意力集中机制，改进移动计算平台上的移动目标检测--第二阶段工作开发了一种新型计算机视觉算法，能够在移动平台上检测移动目标，如无人机。该算法结合了光流、深度神经网络以及低等级约束，并为进一步处理任务提供了注意力集中机制。

测试和评估--Novateur团队还利用标准基准数据集以及由真实世界场景组成的内部数据集，展示了所提出的背景分离技术的能力。该团队还对提议的技术进行了定量和定性评估，其中包括对真实世界数据的性能特征和权衡分析。

实施端到端软件，实现视频中移动目标的稳健检测--第二阶段实施了一个基于ROS架构的端到端软件，利用移动计算平台对静态和移动传感器的视频中的目标进行稳健检测。