无人机蜂群提供了更大的感知孔径，模仿自然蜂群的行为，使孔径适应当地条件，从而增强采样效果。我们证明，这种方法使探测和跟踪严重遮挡目标变得切实可行。应用于传统航空图像的物体分类对遮挡的随机性概括性很差，因此即使在轻度遮挡的条件下也效率不高，而应用于合成孔径积分图像的异常检测对森林等茂密植被具有鲁棒性，并且与预先训练的类别无关。我们的自主蜂群会搜索环境中出现的未知或意外情况，对其进行跟踪，同时不断调整采样模式，以优化当地的观察条件。在由六架无人机组成的蜂群进行的实际现场实验中，我们取得了 0.39 米的平均定位精度，平均精确率为 93.2%，平均召回率为 95.9%。在这里，调整后的粒子群优化考虑了检测可信度和预测的目标外观。我们的研究表明，在合成孔径图像整合过程中可以有效地将传感器噪声包括在内，从而无需对高维参数空间进行计算成本高昂的优化。最后，我们介绍了一个完整的硬件和软件框架，它支持低延迟传输（往返时间约为 80 毫秒）和快速处理（每个编队步骤约为 600 毫秒）大量（70-120 Mbit/s）视频和遥测数据，以及多达十架无人机的蜂群控制。
图 1. 无人机群对极宽适应性机载镜头的光学信号进行集体采样。每架无人机拍摄的画面（下图）都能覆盖较大的景深，这得益于集成相机镜头较窄的物理孔径。在这里，被严重遮挡的目标只能看到一小部分。通过整合这些图像，我们模拟了非常宽的合成孔径镜头（尺寸等于蜂群的采样区域）的极浅景深。因此，离焦遮挡被抑制，而合成焦平面内的目标（如森林地面上的目标）则被突出显示（右图）。由于可以根据合理的观察条件（如森林密度）动态控制蜂群的采样形成，因此合成光圈是可适应的，而不是固定不变的。
图 2. 集成原理。(A) 使用三架无人机（D1、D2、D3）在确定的合成焦平面（SA 成像）上抑制遮挡和抑制未知航向参数（已注册与未注册）造成的注册伪影的集成原理示意图。(B) 5 架无人机（D1-D5）和一个躺在森林（300 棵/公顷）中的被遮挡者的模拟示例。单张 RGB 图像（左列）。相应的单个异常图像（中间一列）。精确定位和不精确定位（由于航向误差）情况下，以 1º 为步长对 10 个航向变化进行积分后的闭塞抑制异常积分和圆块检测结果（右栏）。模拟器的详情见 (27)。(C) 三架无人机对地面上三个未排除的圆形目标的真实记录。上、中、下： 精确初始注册后和罗盘漂移导致错误注册后的 RGB 积分。罗盘漂移后的异常积分。罗盘漂移后的异常积分，包括航向积分和最终的圆球检测。
图 4. 稀疏森林中的检测、跟踪和分类。在简单条件下（无遮挡或遮挡较少），蜂群会检测并跟踪看起来最不正常的目标（一辆移动的车辆）。(A) 卫星图像，包含车辆的地面实况路径（黄色）和跟踪蜂群的路径（蜂群重心，蓝线）。(B,C) 不同时间的特写（无人机被包围）。(D) RGB 和异常积分的可视化结果、检测到的 Blob 以及不同航点的分类结果（A 中以圆圈表示，D 中以匹配的帧颜色表示）。本实验记录在补充视频 2（实验 I）中。
图 5. 密林中的引导搜索。为了在弱光条件下的密林中找到躺着（A-C）和站着（D-F）的人，无人机群被引导到预计目标所在的搜索区域，然后自主探索这些区域。(B、E）无人机引导者的视图（RGB），蜂群无人机被包围。(A、D）无人机群的视图（D1...D6，目标位置用方框表示）。(C,F)热积分和异常积分也揭示了单张图像中隐藏的人员异常。请注意，热图像是用颜色编码的（热图像 = 红色，冷图像 = 灰色）。本实验录制于补充视频 3（实验二）。
图 6. 密林中的探测和跟踪。在困难的条件下（严重遮挡），蜂群会探测并跟踪看起来最不正常的目标（在本例中为并排行走的两个人）。(A) 卫星图像，包括车辆的地面路径（黄色）和跟踪蜂群的路径（蜂群的重心，蓝线）。(B、C）特写（无人机被包围）。(D) 单个无人机图像（D1...D6，目标位置用方框表示）、热积分和异常积分的可视化结果，以及在不同航点（A 中用圆圈表示，D 中用匹配的帧颜色表示）检测到的圆球。请注意，热图像是用颜色编码的（热 = 红色，冷 = 灰色）。该实验记录在补充视频 4（实验 III）中。
图 7. 软硬件架构。无人机群中的无人机由远程控制器上运行的定制应用程序直接控制。视频和遥测数据从远程控制器向下传输，航点数据从中央电脑上运行的定制服务器向上传输。服务器上的数据可由定制客户端下载/上传，如处理数据和控制蜂群的蜂群控制客户端（如主论文中所述），以及在地图上显示蜂群状态的地图可视化客户端。参见补充视频 5（方法）。
原文
相关内容
微信扫码咨询专知VIP会员