《智能无人机扩散模型：决策与建模》最新论文

现代通信网络越来越多地采用无人飞行器（UAV）。然而，决策和数字建模方面的挑战仍然阻碍着它们的快速发展。强化学习（RL）算法面临着样本效率低、数据通用性有限等限制，在无人机通信场景中进一步放大。此外，数字孪生（DT）建模引入了大量决策和数据管理的复杂性。通常集成到 DT 框架中的 RL 模型需要大量训练数据才能实现准确预测。与注重类边界的传统方法不同，扩散模型（DM）是一类新的生成式人工智能，它能从训练数据中学习底层概率分布，并能根据所学分布生成值得信赖的新模式。本文探讨了如何将 DM 与 RL 和 DT 相结合，以有效地应对这些挑战。通过将 DM的数据生成能力与 RL 的决策框架和 DT 的建模精度相结合，这种集成提高了无人机通信的适应性和实时性。此外，该研究还展示了 DM 如何缓解数据稀缺、改善策略网络和优化动态建模，从而为复杂的无人机通信场景提供稳健的解决方案。

图 1：DM 与 DT 和 RL 技术在无人机通信中的集成概述，其中 DM 通过合成数据和改进的策略网络使 RL 受益。此外，DM 还能通过合成数据和动态建模使 DT 受益。

图 2：DM 与无人机通信 RL 技术相结合的概述，DM 通过合成数据、训练环境和改进的策略网络为 RL 带来益处。

无人飞行器（UAV）越来越多地应用于能源、公共安全、农业和智慧城市等各个领域，充当数据收集器、基站和中继器。无人机在第五代（5G）网络的发展中也发挥着至关重要的作用，有助于实现 5G 的目标，包括增强型移动宽带（eMBB）、超可靠和低延迟通信（URLLC）以及大规模机型通信（mMTC）。预计无人机还将在第六代（6G）网络中发挥关键作用，改进数据收集和分析。无人机的主要优势在于其快速部署、可控的机动性以及建立视距（LoS）通信的能力，这有助于高速数据传输。

决策是指从多个备选方案中选择最佳行动方案，例如确定最佳飞行路径或安排数据传输。它与数字建模一样，是无人机通信中不可或缺的过程。强化学习（RL）是人工智能（AI）中的一种变革性方法，可为无人机通信中的复杂决策挑战提供有前景的解决方案。在无人机辅助传感器网络中，强化学习（RL）可自动执行数据收集任务；然而，低样本效率往往会阻碍强化学习。样本效率指的是强化学习算法从与环境的有限交互中有效学习的能力。此外，其面向行动的性质要求在动态环境中进行长时间和广泛的交互，这对其实际部署提出了重大挑战。身临其境的数字建模系统，如数字双胞胎（DTs），可在虚拟对应物中复制无人机元素、流程、动态和固件。这些物理和数字对应物通过实时数据通信无缝交换输入和操作。使用 DT 可以有效地对具有不同空中角色的无人机群进行建模，从而实现协作、提高安全性并减少模拟与现实之间的差距等挑战。然而，DT 建模涉及决策和数据管理方面的重大复杂问题。在 DT 框架中经常使用的 RL 模型依赖大量的训练数据来进行准确预测。获取充足且具有代表性的训练数据是一项巨大挑战，尤其是对于历史数据集或场景有限的系统而言。

扩散模型（DM）是一类生成式人工智能，在应对上述挑战方面显示出巨大的潜力。与注重类别边界的传统方法不同，DMs 从训练数据中学习底层概率分布，从而能够根据学习到的分布生成值得信赖的新样本。DM 可以综合数据，帮助 RL 模型克服样本效率低的问题，改进其策略以更好地处理无人机动态环境，并为无人机训练创建逼真的模拟环境。此外，DM 还能帮助 DT 辅助无人机克服数据稀缺的问题，在与 RL 集成时改进决策制定，并提高无人机建模的准确性。Sun 等人展示了如何使用生成式人工智能来增强 RL。此外，Zhu 等人调查了 DM 在 RL 中的应用，Sun 等人系统地展示了生成式人工智能在优化无人机通信和网络问题中的应用。

本文特别讨论了 DM 如何通过提高采样效率、提供增强的策略网络和生成逼真的训练环境来增强 RL 辅助无人机通信。我们还研究了 DM 如何通过生成合成数据、改进决策和完善动态建模来帮助 DT 辅助无人机通信。图 1 显示了 DMs 与 RL 和 DT 在无人机通信方面的集成。

本文的贡献如下：