索邦大学最新博士论文《无人机辅助无线网络的机器学习方法》，167页pdf

摘要

无人驾驶飞行器 (UAV) 在过去十年中受到无人机硬件和监管框架的快速创新推动，被设想用于为未来社会多种服务应用。从下一代无线网络的角度来看，无人机不仅有望充当被动蜂窝连接用户的角色，而且还可以作为无人机辅助网络的一部分，作为连接的主动推动者。用例范围从货物的“最后一英里”交付、客运、基础设施检查、环境监测和测量到智能农业的推动者。它们快速灵活的部署使它们在地面通信基础设施不堪重负或被破坏的情况下特别有用，例如在自然灾害和搜救情况下。在扩展永久性网络基础设施不可行或经济上不可行的偏远地区，无人机可以为目前没有移动互联网的世界一半人口提供移动互联网接入。

图 1.1 无人机提供通信服务和支撑固定基础设施的应用示例。

图 1.2 无人机分类。

无人机在所有潜在应用场景中的决定性优势是它们的移动性。为了充分利用它们的能力，灵活高效的路径规划方法是必要的。本论文的重点是探索机器学习 (ML)，特别是强化学习 (RL)，作为解决无人机移动管理挑战的一类有前途的解决方案。随着近年来RL与神经网络相结合的研究进展，deep RL是为数不多的能够直接解决通信场景下无人机控制与部署复杂任务的框架之一，因为这些问题通常是NP-hard优化问题，且受到非凸性的严重影响。此外，深度 RL 提供了以直接方式平衡无人机辅助网络的多个目标的可能性，它在先验或模型信息的可用性方面非常灵活，而深度 RL 推理在计算上是高效的。

中小型无人机路径规划的一个关键限制是它们的最大活动任务时间受到机载电池能量密度的限制。当用作向地面用户提供数据服务的空中基站 (BS) 时，自主无人机需要共同优化其飞行时间和系统的通信性能目标。论文的第一部分探讨了使用深度 Q 学习来控制空中 BS，该 BS 从地面用户那里收集数据，同时集成专用着陆点，无人机可以在着陆点着陆，从而在继续为用户服务的同时在其轨迹上节省能源。深度 Q 学习允许无人机在没有任何关于环境或任务的明确信息的情况下找到有效的轨迹。

图 3.1 空中 BS 移动决策是根据无人机的当前状态做出的，即位置和电池电量。 UAV 完全不知道环境的先验知识，即不知道着陆点（LS）的存在或位置、用户位置、信道模型或最终 UAV 着陆位置。虽然 LS 提供了节能的可能性，但 UAV BS 可能不得不为某些用户牺牲一些 QoS。

虽然 RL 范式为解决无人机辅助网络中的优化问题提供了许多优势，但仍然存在一些实际挑战，尤其是在无人机可以学习的训练数据需求的背景下。在现实世界中收集训练数据是一个昂贵且耗时的过程，而在传统的 RL 方法中，如果任务参数发生变化，则需要重复冗长的训练过程，例如无人机的电池容量。在本论文中，我们通过提出一种深度 RL 算法来解决这个问题，该算法将训练扩展到来自分布式物联网 (IoT) 设备的无人机数据收集任务的随机实例，如果任务参数发生变化，则无需重新训练。与传统方法相比，结果是一个复杂得多的问题，因为需要同时找到数千个任务实例的解决方案。这可以通过利用任务密集城市环境的智能处理地图信息来实现。我们将此设置扩展到协作多无人机案例，其中出现机群协作的额外挑战，以及大型、复杂和现实的城市环境挑战。

图 4.7 同一智能体适应设备数量和设备位置差异以及飞行时间限制的图示，显示了曼哈顿场景中已使用和可用的飞行时间以及收集和可用的总数据。

图 5.8 轨迹图说明传播条件的变化对已经训练好的智能体的影响。图 5.8a 显示了在智能体训练时使用路径损耗指数的原始行为。图 5.8b 显示了相同智能体在其他情况不变的情况下，路径损耗指数略低。

论文的以下部分探讨了无人机辅助通信和机器人技术，这是两个通常不相交的研究界。 RL 范式的固有灵活性为提出可在多个无人机路径规划实例中工作的解决方案提供了机会，例如物联网数据收集和覆盖路径规划 (CPP)，这是一个经典的机器人问题。最后，在本文的最后一部分，研究了基于模型辅助学习框架的另一种解决RL算法训练数据需求挑战的方法。在这种方法中，UAV首先学习真实环境的模型，然后利用学习的模型生成模拟训练数据，大大减少了对昂贵的真实世界数据的需求。