本文介绍了 Swarm-GPT，这是一个将大型语言模型（LLM）与安全蜂群运动规划相结合的系统，为可部署的无人机蜂群编排提供了一种自动化的新方法。Swarm-GPT 使用户能够通过自然语言指令自动生成同步无人机表演。Swarm-GPT 强调安全性和创造性，通过将生成模型的创造力与基于模型的规划算法的有效性和安全性相结合，填补了无人机编舞领域的一个重要空白。为实现这一目标，LLM 会根据提取的音频数据生成一组独特的航点。轨迹规划器对这些航点进行处理，以确保无碰撞和可行的运动。在执行之前，可以在仿真中查看结果，并通过动态再提示进行修改。模拟到实际的传输实验证明，Swarm-GPT 能够准确复制模拟无人机轨迹，模拟到实际的均方根误差 (RMSE) 平均为 28.7 毫米。迄今为止，Swarm-GPT 已在三次现场活动中成功展示，体现了预训练模型在现实世界中的安全部署。
图 1：由 Swarm-GPT 编排的 9 架无人机群。图中显示的队形与音乐节拍时间同步。用户可以与 Swarm-GPT 互动，生成不同的轨迹。
方法
图 2：Swarm-GPT 系统框图
将概述拟议的 Swarm-GPT 框架。Swarm-GPT 系统框图见图 2，更多技术细节见附录 A。
LLM 接口。LLM 界面为用户提供了一种通过自然语言提供高级任务规格（如歌曲选择和蜂群行为）的方法。与此同时，用户还可以使用音频分析工具 librosa 提取所选歌曲的特征[24]。语言输入和提取的音乐特征共同构成了 LLM 提示模板，其中包含有关操作环境物理限制的初步说明。我们在附录 A.1 中详细介绍了提示过程。有了语言输入、歌曲音频文件和关于环境的高级先验知识，LLM 就能为无人机群生成编排，即每架无人机的一系列定时位置航点，并与所选歌曲的节拍同步。
安全轨迹优化。安全轨迹优化模块是基于最先进的分布式无人机群运动规划框架 AMSwarm [23]制定的安全过滤器。AMSwarm 安全过滤器允许我们将有关机器人系统的先验知识（如无人机的最大允许速度和驱动限制以及无人机的椭圆形碰撞包络线）纳入其中，随后计算出可行且无碰撞的蜂群轨迹，这些轨迹与 LLM 生成的编排航点最为匹配。附录 A.2 进一步讨论了基于 AMSwarm 的安全滤波器设计。
轨迹修改（再提示）。这些航点被视为位置指令，并通过无人机群模拟器--gym-pybulletdrones[25]实现可视化。用户可以将生成的编排部署到真实的无人机系统上，也可以通过重新提示对其进行修改。要重新提示，用户可以输入自定义提示（如 "更快、更高"），并将其附加到原始提示上。然后，LLM 会根据重新提示更新航点，从而修改飞行群。碰撞规避和处理应用于 LLM 的更新输出。
原文
相关内容
微信扫码咨询专知VIP会员