《小型无人机实时多模态定位和识别的深度学习》2023最新论文（含讲解PPT、演示视频），北约科技组织“分布式多光谱和多静态传感”会议

本文将介绍基于分布式声学模块和光电传感器网络的DEEPLOMATICS演示原理。在最初的探测阶段，融合声学传感器的结果允许对入侵进行大致的定位。然后，这个区域被基于几个波长和两个视场摄像机的光电系统可视化，该系统可以精确和自动地检测场景中的无人机，然后将入侵的放大图像传送给操作员。获得的信号根据ISL和CNAM实验室合作开发的一种原始方法进行利用。该方法以远程人工智能为基础，允许改善对威胁和操作情况的感知。

最后，将介绍现场试验的结果，以说明DEEPLOMATICS演示器在声学和光学传感器之间以及各种相机（可见光、SWIR、主动成像...）提供的图像之间的互补性。

项目的总体目标

几个麦克风阵列被部署在需要保护的区域。在其覆盖区域内，每个麦克风阵列同时使用基于波束学习网络的深度学习方法对飞行的无人机进行定位和识别。每个阵列都连接着一个本地人工智能，它实时处理空间音频测量，独立于监控网络的其他单元。

一个数据融合系统完善了每个人工智能增强的麦克风阵列所提供的估计。这个检测到的位置与光电系统实时共享。一旦该系统锁定了目标，就会使用深度学习跟踪算法来实现自主视觉跟踪和识别。

光电系统由安装在一个伺服转塔上的各种相机（可见光、热成像和主动成像）组成。主动成像系统可以捕捉到1公里以内的场景，并且只捕捉给定距离内的物体，这就自然地将前景和背景从图像中排除，并增强了计算机视觉的能力。

DEEPLOMATICS项目结合了声学和光电学的优点，以确保无人机的实时定位和识别（图1），并具有很高的精度（绝对三维误差小于7°，检测精度超过90％）。模块化的方法也允许在长期内考虑增加新的捕获系统，如电磁雷达。

图 1：实施跨学科和多模态方法