军事目标分类《利用相邻视频帧提高卷积神经网络在压力环境下的分类鲁棒性》美陆军2023最新报告

研究目的是利用相邻视频帧来提高卷积神经网络（CNN）分类器对受压目标的鲁棒性。我们确定并下载了可适度改变纵向角度的目标视频片段。军用车辆目标类别的视频片段以前曾用于通过迁移学习对预训练的 CNN 进行微调。我们从这些视频片段中获得了帧序列，每帧中的目标都受到了不同的连贯应力。我们没有依赖于单帧图像的分类，而是使用了分类器类别概率上的不同运行平均值和运行乘积，以提高分类的鲁棒性，使其能够在目标与传感器的纵向角度发生变化时，不受所施加应力的影响。结果表明，当我们对输出类概率使用移动平均/乘积滤波器时，分类器的稳健性发生了适度变化。当对少量元素进行平均时，这种稳健性的提高最为明显，而当我们应用的滤波器元素数量增加时，稳健性又恢复了稳定（稳健性提高）。

由于用于训练卷积神经网络（CNN）的图像与 CNN 将尝试分类的图像存在差异，因此军事系统中使用的人工智能分类器与商业行业中使用的人工智能分类器有些不同。这些差异可能是有意的，也可能是无意的，即使是训练有素的分类器最终也会因为目标图像无法识别而失效。

我们的目标是使这些 CNN 分类系统对目标应力具有更强的鲁棒性，以扩大其在战场环境中的应用，因为在战场环境中，目标会被有意隐藏和改变，传感器会被遮挡，敌对分子会有意干扰传感器图像。CNN 模型的分类效果和鲁棒性已在很大程度上得到了优化，目前最先进的 CNN 正处于高原状态。

CNN 分类器必须经过识别目标的训练才能对目标进行分类。由于施加在目标上的应力可能多种多样，要针对战场上可能出现的各种类型和强度的目标应力训练军用 CNN 分类器既困难又不切实际；因此，必须找到其他方法来提高分类器对战场应力的鲁棒性。目前正在进行分类器融合和传感器融合分类的研究。研究人员以前曾构建过 CNN 架构，利用视频剪辑的时间方面来训练 CNN，并直接从视频中对物体进行分类，但大部分工作都花在了提高算法过程的效率上，在实施之后，研究人员发现，虽然从视频中训练 CNN 的效率提高了，但分类效果并没有显著改善。

在本报告中，我们使用多个传感器图像来扩大 CNN 分类器在分类目标高度紧张时的分类成功范围。我们使用相邻帧的传感器视频，并不是在每一帧中对目标进行分类，而是将分类器的分类概率加总平均，然后选择概率最大的一类作为正确答案。我们相信，这将增加在压力环境下成功分类的几率。由于每个类别的分类概率从 0 到 1 不等，因此也可以使用移动积滤波器来提高分类的成功率。移动平均滤波器和移动乘积滤波器中的元素数量也可以改变，以检测其最佳长度。

我们假设，随着相邻帧的使用，特别是当目标相对于传感器的方位角逐渐变化时，目标上方的相对应力位置可能会发生变化，从而揭示出分类器用于正确分类目标的新特征。

这种想法与雷达信号叠加的做法类似，即把雷达回波叠加在一起，以增加目标的响应并减少系统噪声。如果我们将其应用到相邻视频帧的分类中，如果我们在受压环境下的目标分类中使用移动平均值和移动乘积，那么我们或许就能开发出更稳健的分类方法。

为了验证这一假设，从网上下载了军用陆地车辆的视频剪辑。选择的车辆视频片段与之前开发的军用车辆训练数据库相吻合，该数据库用于在压力环境下进行 CNN 分类分析。我们特别寻找了能以缓慢变化的视角显示目标的视频片段。利用预训练 CNN 的迁移学习开发的六个类别如下：