《解密基于事件的相机延迟：传感器速度取决于像素偏置、光线和空间活动》美陆军2023最新40页技术报告

有效的战场态势感知（SA）需要使用传感器为软件提供关键数据，以便对威胁进行判别和定位，进而为更高级别的面向作战人员的系统提供战术指导。在许多战场场景中，时间是 SA 任务最关键的维度之一；因此，统一、快速的传感器响应时间和低延迟至关重要。延迟是一个指标，根据上下文（网络、通信、信号处理）的不同可以有多种技术定义。不过，最重要的概念与数据开始和到达的时间差有关。传感器延迟可分为四个主要部分：

1. 感觉注册延迟 - 包括从物理刺激到传感器、转换为模拟值和编码为数字表示之间的时间量。

2. 中间硬件延迟 - 来自用于打包、过滤和处理这些信息的数字电子设备和接口设备。

3. 通信延迟--来自用于通过某种通用协议（千兆以太网、USB、Wi-Fi、长距离 [LoRA]）传播和接收数据的硬件。这在很大程度上取决于协议、连接、网络流量和端点距离。

4. 软件延迟 - 缓冲通信数据的内核级进程和最终处理任务数据的算法。

每种延迟的具体表现和程度都与传感器模式和系统配置密切相关。在 SA 方面，传感器延迟的另一个方面是抖动。与大多数指标一样，时间响应并不均匀，而是存在一个分布。抖动（又称定时精度）描述了这一分布的方差，它本质上对传感器的响应速度施加了限制。因此，对传感解决方案的分析需要捕捉延迟曲线的多个方面，以全面描述其在特定应用中的特性。

激光雷达和雷达等传感方法通过主动照亮环境和利用高信噪比 (SNR) 提供高响应速度、选择性和灵敏度。然而，主动传感方法会增加被探测和利用的概率，从而无意中危及集成在其中的平台。相比之下，被动式电子光学红外（EO-IR）传感系统没有主动发射信号，从尺寸、重量、功率和成本（SWaP-C）的角度来看都有所改进，但速度和信噪比较低。

典型的被动式 EO-IR 方法对入射到像素阵列上的辐射进行时间整合，利用基于扫描的采样方法对这些值进行编码，然后重置像素。这一过程是循环进行的，其频率与传感器的时间分辨率和延迟有关。全局快门方案在读出整个阵列之前，会同时曝光整个阵列。因此，帧频（每个周期的时间）是积分时间和行时间（读出一行的时间）乘以行数的函数。因此，最差情况下的传感器延迟是像素位置的函数，因为最后一行的延迟时间最长。滚动快门方案通过该行时间错开曝光，并在积分完成后开始读出。这样可以提高整体帧频并减少延迟，但运动模糊伪像的出现会随着阵列分辨率和行时间的增加而增加。此外，在行的层面上，仍然存在与像素位置相关的延迟，因为最后一行在曝光和读出之间的延迟时间最长。与典型的读取时积分（ITR）不同，读取时积分（IWR）技术以更长的曝光时间为代价，试图进一步降低这种延迟。尽管如此，最先进的高速摄像机技术已经能够生产出帧速率超过每秒数亿帧（fps）的摄像机。然而，这些摄像机使用了许多高速串行端口和板载动态随机存取存储器（DRAM），其操作已针对快速记录操作和事后时间放大回放进行了优化。

推进 EO-IR 辅助 SA 能力的一个潜在途径是基于事件的成像。该技术通过在像素级加入模拟信号处理，解决了 EO-IR 阵列中存在的动态范围和时间采样限制。与使用传统机器视觉的基于帧的方法不同，基于事件的相机（EBC）由像素和异步接口组成，只在入射光发生时间变化时传输数据，也就是所谓的时间对比度。模拟前端对信号进行对数压缩，从而实现六十年动态范围和高/低照度同步成像。同时，变化检测电路将带宽大大降低了一个数量级，并同时提高了时间分辨率（几十微秒）。图 1 中的波形概述了基于事件的传感器 (EBS) 的基本操作。

当强度发生正向变化时（图 1 中的绿色曲线），像素会传输 "ON "事件，而在发生负向变化时则传播 "OFF "事件。尖峰传送的频率与两个因素成正比：引发事件的必要阈值和输入变化的梯度。EBC 的输出格式为地址事件表示法（AER），其中每个事件数据都描述了空间起始点（x,y）、极性（p = ON/1 或 OFF/0）和摄像机相关捕捉时间（时间戳）。然而，由于摄像机在运行过程中本质上是 "无帧 "的，因此延迟问题更为复杂。由于涉及像素内处理和异步性质，响应时间不再是全局扫描速率和确定性流水线延迟的因素，而是非均匀晶体管特性和随机接口仲裁的因素。

图 1 基于事件的操作：（上图）输入强度的对数编码；（下图）事件活动与开和关阈值（虚线）的关系。图中显示了(i)高正向对比度、(ii)低负向对比度和(iii)低正向对比度反应的示例。

本报告概述了 EBS 延迟的机制和提取方法。之前的工作简要介绍了计算该指标的一般方法，但没有一项更大规模的深入研究在提供响应分布的同时调查各种因果机制。因此，我们将利用多种因素来探索影响 EBS 响应时间的全部变量设计空间。第 2 部分将详细介绍 EBS 延迟背后的具体机制和理论基础。第 3 节概述了本报告中用于提取传感器和系统延迟的实验方法。第 4 节介绍数据分析并报告研究结果。第 5 节介绍本报告的总体结论，并概述 EBS 延迟研究的下一步工作。