《可重构智能表面和无人机辅助通信：深度强化学习方法》169页博士论文

无人飞行器（UAV）和可重构智能表面（RIS）被认为是提高无线通信网络性能和覆盖范围的有前途的技术。无人机辅助无线网络利用无人机的灵活性和移动性特点，具有可靠、低成本和按需的特点。无人机可以通过调整高度为目标地面用户提供最大的覆盖范围和容量。其灵活机动的特点有助于避免信号阻塞，与地面用户建立更好的连接。然而，由于无人机机载功率和飞行时间的限制，为无人机辅助物联网（IoT）获得最佳资源分配方案具有挑战性。RIS 通过控制大量散射反射器的相移值，将信号从发射器反射到接收器。反射信号可以通过相干组合来改善接收信号，也可以通过破坏性组合来抑制干扰。此外，可靠性和零延迟也是 RIS 在支持可靠和低成本无线通信方面的显著优势。

物联网应用中使用的许多设备都有能源限制，因此，在为物联网设备提供能源的同时保持无缝连接就显得相当重要。在此背景下，本文提出了一种在 RIS 辅助无人机通信的支持下同时为物联网设备提供无线电力传输和信息传输的方案。具体而言，物联网设备通过无线电力传输从无人机获取能量；然后，无人机通过信息传输从物联网设备收集数据。为了描述无人机的灵活性，我们考虑了两种情况：悬停无人机和移动无人机。为了最大限度地提高网络总和率，联合优化了无人机的轨迹、物联网设备的能量收集调度和 RIS 的相移矩阵。还研究了 RIS 辅助多无人机网络，该网络可利用无人机的敏捷性和 RIS 的反射优势来提高网络性能。为了最大限度地提高所考虑网络的能源效率（EE），联合优化了无人机的功率分配和 RIS 的相移矩阵。

本论文有三大贡献。首先，设计了一种新的无人机辅助物联网系统，该系统依靠无人机的最短飞行路径，同时最大限度地收集物联网设备的数据量。然后，构思了一种基于深度强化学习（DRL）的技术，用于寻找特定覆盖区域内的最佳飞行轨迹和吞吐量。经过训练后，无人机就有能力自主收集来自用户节点的所有数据，并显著提高总和速率，同时最大限度地减少所使用的相关资源。提出的技术在实现的吞吐量、轨迹和耗费的时间之间取得了平衡。其次，制定了一个马尔可夫决策过程，并提出了两种 DRL 算法，以解决在 RIS 辅助无人机通信中最大化总网络总速率的优化问题。考虑到 RIS 和无人机的严格要求，处理时间和吞吐量性能的显著改善表明提出的方案非常适合实际物联网应用。第三，提出了一种 DRL 方法，用于解决 RIS 辅助多无人机通信中的无人机功率分配和 RIS 相移优化问题。此外，还提出了集中式方法和并行学习方法，以最大限度地提高 EE 性能。提出的 RIS 辅助无人机网络 DRL 方法具有即时决策和处理时变信道与动态环境设置的能力，可用于实时应用。

因此，本论文提出了基于 DRL 算法的新方法，以最大限度地提高 RIS 和无人机辅助通信的 EE 和速率。将现实生活中的问题转化为数字形式，以制定环境并定义与环境互动的代理，从而提高网络性能。