深度强化学习及其在军事领域中的应用综述

随着大数据、云计算、物联网等一系列新兴技术的大量涌现，人工智能技术不断 取得突破性进展。深度强化学习技术作为人工智能的最新成果之一，正被逐渐引入军事领域 中，促使军事领域走向信息化和智能化。在未来战争作战模式及军队发展建设中，网络化、 信息化、智能化和无人化形成重要特征已经成为不可逆转的趋势。因此，本文在回顾了深度 强化学习基本原理和主要算法的基础上，对当前深度强化学习在武器装备、网络安全、无人 机编队、智能决策与博弈等方面的应用现状进行了系统的梳理与总结。最后，针对实际推进 深度强化学习技术在军事领域应用落地所面临的一系列问题和挑战，提供了未来进一步研究 的思路。

近年来，随着大数据、云计算、物联网等 一系列新兴技术的大量涌现，人工智能技术不 断取得突破性进展。作为 21 世纪的顶尖技术之 一，人工智能给各个领域的发展都带来了前所 未有的机遇和挑战，军事领域也不例外。2016 年 6 月，由国防大学举办的“战争复杂性与信息化战争模拟”学术研讨会，对大数据时代的军事 信息体系与发展战略进行了重点研究[1]，军事 智能化已不再是一个陌生的概念，正在全面影 响着军队建设和未来战争形态[2]。从应用角度 来看，军事智能化主要体现在五个层次[3]：以 无人机、无人车等仿生智能为主的单装智能；以人机融合、集群、协同等概念为核心的协同 智能；以智能感知、决策、打击、防御等多要 素作战力量综合运用的体系智能；以通信、网 络、电子、舆情等专业领域管控的专项智能；以作战体系基于数据、模型、算法获取涌现效 应为目标的进化智能。人工智能技术为这些应 用的落地提供了坚实的基础。深度学习（deep learning，DL）和强化学 习（reinforcement learning，RL）作为实现人工 智能的先进技术，分别在信息感知和认知决策 领域有着出色的表现[4]-[5]。深度强化学习（Deep Reinforcement Learning，DRL）[6]则是近几年 提出的新兴概念，结合了 DL 与 RL 的优势， 是人工智能的最新成果之一，在机器人控制、 计算机视觉、自然语言处理、博弈论等领域都 取得了重要研究成果。在军事领域中，针对作 战任务规划、智能军事决策与智能博弈对抗等 问题的解决，DRL 也有着巨大的应用潜力，引 起了研究人员的广泛关注。

目前，关于 DRL 的研究已经取得了较大进 展，有一些关于 DRL 的综述性文献陆续发表 [6]-[7]，但它们更加偏向于对 DRL 算法的总结。除此之外，也有一些关于 DRL 在领域应用中的 综述，如无人机[8]、通信与网络[9]、智能制造[10] 等领域，然而关于 DRL 在军事领域中的应用， 并没有专门的综述性文献对其进行深入梳理和 总结。基于此，本文首先回顾了 DRL 的理论发 展历程；然后对 DRL 的基本算法及改进算法进 行了归纳总结；最后对前人研究中 DRL 在军事 领域武器装备、网络安全、无人机编队、智能 决策与博弈等问题的应用现状进行了系统性的 总结，并展望了其发展方向和前景。