本文介绍了详细而全面的技术文献结论,旨在确定战术自主性的当前和未来的研究挑战。本文非常详细地讨论了当前最先进的强大人工智能(AI)、机器学习(ML)和机器人技术,以及它们在未来军事和国防应用背景下开发安全和强大自主系统的潜力。此外,我们还讨论了在试图为先进的军事和国防应用实际建立完全自主系统时出现的一些技术和操作上的关键挑战。我们的论文提供了最先进的可用于战术自主的先进人工智能方法。据我们所知,这是第一篇论述战术自主性当前重要趋势、战略、关键挑战、战术复杂性和未来研究方向的作品。我们相信,这项工作将使从事机器人和自主系统领域的学术界和工业界的研究人员和科学家产生极大兴趣。我们希望这项工作能鼓励人工智能多个学科的研究人员去探索更广泛的战术自主领域。我们也希望我们的工作能成为设计先进的人工智能和ML模型的重要步骤,对现实世界的军事和国防环境有实际意义。
关键词:战术自主性;自主系统;人工智能;军队;国防应用;航天;机器伦理;网络安全;可信赖性;可解释性
资助
这项工作得到了霍华德大学国防部(DoD)人工智能和机器学习卓越中心(CoE-AIML)的支持,与美国陆军研究实验室签订了W911NF-20-2-0277合同。
新兴技术,如机器人技术和自主系统,正在为潜在的社会革命提供机会[1]。先进的自主系统正在为多个科学领域的科学突破和颠覆性技术创新铺平道路[2]。自主系统是一个智能系统网络,能够独立完成复杂的任务,在没有人类明确干预的情况下做出智能决策,以及其他操作管理和控制系统[3,4]。现代自主系统的最新发展对各种潜在的军事和国防应用越来越关键,包括空中监视系统、隐私、网络安全、导弹防御、航空航天工业等。
背景和动机。来自民用、国防和军事界的研究科学家们正在通过复杂的工作来确定为工业和现实世界应用实施先进的人工智能和自主系统的最佳方式。利用AI、ML和其他相关的先进技术领域来实现自主系统,是现代自主系统的一个改变战术的战略。
现代尖端的人工智能和ML技术已经越来越多地被用于军事和国防领域的各种成功应用,包括网络安全[5]、海上安全[6,7]、关键基础设施保护[8,9],以及其他具有重大社会和技术意义的领域。先进的人工智能系统的潜力可以被用来对军事和国防技术产生积极的影响。人工智能可以在军事环境中用来评估收集的数据,并提供作战计划和战略支持,加速决策过程。除此之外,人工智能系统可以被设计和部署在战略、政治、作战和战术层面的战争中使用。
在政治和战略层面上,人工智能系统可以用来动态地破坏隐藏的敌人,并实时防御各种形式的对手攻击。然而,在战术层面,人工智能可以为无人系统提供更快、更好的态势感知,以减少其对攻击的脆弱性。它还可以通过识别可疑的模式和潜在的危险活动有效地自动检测威胁。然而,尽管在过去的几十年里,自主性在广泛的领域内取得了进展,但一些技术和实际的挑战仍然大大限制了现代自主系统的部署和广泛采用。第4节、第5节和第6节将讨论一些需要解决的关键挑战。因此,必须在人类最低限度的监督或参与下开发现代战术自主系统,以大幅提高最先进的水平,减少认知工作负荷,增加功能,改善和保持多领域的态势感知,提高整体机动性和流动性,有效实现部队保护,支持主动的网络防御等。
在对自主性越来越感兴趣和普及的激励下,本文对战术自主性的基本概念和原则进行了全面的技术调查,重点是以前研究工作中没有充分解决的前沿人工智能和ML方法。据我们所知,这是第一篇论述当前重要趋势、战略、基本挑战、战术复杂性和未来战术自主性研究方向的作品。
贡献。我们论文的主要贡献总结如下:
我们介绍了战术自主的基本概念和它在广泛的应用中的潜力。
我们掌握了在军事和国防背景下对战术自主性概念的理解。
据我们所知,我们是第一个提供关于战术自主性的重要当前趋势、战略、基本挑战、战术复杂性和未来研究方向的。
我们提出的工作可以作为设计先进和创新的人工智能和ML模型的一个重要步骤,对现实世界的军事和国防应用具有实际意义。
我们提出了战术自主性的基本和长期的挑战。
提纲。本文的其余部分组织如下。第2节提供了简要的历史,主要的里程碑,伦理方面,以及战术自主性的级别。第3节介绍了可用于推进战术自主能力的不同人工智能技术。第4节描述了对可信人工智能和任务自主性的需求。第5节简要介绍了平台之间的广泛合作和相关的技术挑战。第6节介绍了最先进的人机协作方法以及与当前方法相关的挑战。第7节简要介绍了战术自主性的网络安全及其基本挑战。第8节详细讨论了战术自主系统的风险和内在挑战的概述。最后,在第9节中,我们总结了本文并讨论了潜在的未来工作。缩略语部分列出了本文中使用的缩略语。
关于自主系统的文献已经在许多研究工作中得到了广泛的研究。自主性的概念有不同的内涵,而且在过去几年里有了很大的发展。例如,[10]中的自主性概念是关于委托的任务。在[10]中详细解释了委托的各个方面和层面。一般来说,智能系统背景下的自主性侧重于开发智能决策系统,这些系统可以在复杂的战术环境中自主地进行物理操作,并具有一定程度的自我管理[11]。在本节中,我们只提供明确与历史、伦理方面、自主的属性、监管和战术自主性级别有关的工作背景。
根据美空军研究实验室(AFRL)的说法,战术自主性是一个与现代自主系统相关的术语,该系统在人类的授权和约束下行动,以支持与长期战略愿景相关的战术、短期行动。近年来,在广泛的应用中出现了相当多的关于战术自主性的跨学科研究。军方长期以来一直对推进机器人技术和自主行动的能力感兴趣。美空军部(DAF)和国防部(DoD)正在推动开展以战术自主性为重点的创新自主性研究,这将有助于将研究转化为实际应用。此外,美国AFRL正在大力优先考虑正在进行的数字化改造战术自主性的研究工作,特别是在军事领域,以更好地使作战人员对抗美国对手。图1描述了战术自主性的简要历史和重要的里程碑。
图 1. 战术自主的性简史和里程碑。
战术决策。决策系统采用先进的模型,对复杂环境进行预测。由于这些模型中有许多是数据驱动的,自主系统应该能够获得更多关于它们所处的复杂环境的数据,并相应地实时调整它们的基本行为。对智能自主系统在嘈杂、动态和现实环境中的强大和有效的战术决策的需求正在迅速上升。然而,最关键的挑战之一是为自主系统设计战术决策模型和支持框架。例如,与其他道路使用者的复杂和动态互动,环境的复杂多样性,以及传感器信息的不确定性,使得自主驾驶的战术决策变得非常困难[12]。
一个结合了规划和深度强化学习(DRL)的通用框架,可用于自主驾驶系统的战术决策智能体,在[12]中被详细描述。该框架的性能在两个概念上不同的高速公路驾驶场景中进行了评估[12]。战术决策算法被设计用来处理不可预见的环境状况和不可预测的对抗性攻击。战术决策系统的过程可以被建模为概率的(即包括不确定因素时)或完全确定的(即不包括不确定因素时)。不确定性中的计划和决策在机器人和自主系统中是至关重要的。因此,在设计自动决策模型和算法时,必须考虑到各种不确定性的来源[13]。部分可观察的马尔可夫决策过程(POMDP)是一个通用的数学框架,用于模拟不确定性下的决策任务[13]。然而,在以前的工作中,没有充分解决设计能够制定不确定性意识的战术决策任务的有效方法,如POMDP,以及解决其计算复杂性。因此,正如第3节所解释的,需要基于先进的人工智能/ML方法的不同策略来加强复杂和现实环境中的战术决策任务的进程。
自主性的伦理问题对人工智能研究者来说是复杂的挑战。现代基于人工智能的系统的开发和应用在学术界和工业界都在激增。因此,在决策过程的速度和效率大幅提高的激励下,我们日常生活的各个方面的决策正在完全委托给人工智能/ML驱动的算法。然而,关于自主权与伦理的关系、社会影响、法规、自主权治理、伦理影响以及这种自主技术和活动的能力等许多重要问题在以往的研究中没有得到充分的解决。因此,探索基于人工智能的完全自主技术的安全和伦理层面,使我们能够认识到先进机器自主性的当前和未来潜在发展的伦理影响。此外,对机器智能的伦理学进行准确有效的调查,可以促进发现现有伦理学理论的潜在问题,以及它们在现实世界环境中的一般作用。关于机器伦理学的意义、伦理学理论的研究以及自主智能机器的伦理学影响的详细讨论见于[14]。关于[14]的研究工作还表明,现代算法可以被设计成模仿人类的伦理决策。
机器伦理学。随着人工智能驱动的决策在广泛的领域中变得越来越普遍,关于其适用性[15]、伦理层面以及在决策算法设计中对基本方面的考虑等新的重大问题也出现了[16]。机器伦理学的最终目的是有效地研究如何设计智能机器来进行道德和伦理上的推理。它关注的是智能机器对人类和其他自主机器的行为。机器伦理学的主要目标是开发一种智能机器,在可接受的道德层面的指导下,对潜在的行动方案做出决定。区分隐性伦理机器和显性伦理机器很重要[17]。隐性伦理机器意味着约束智能机器的行动以避免不道德的结果。实现这一目标的一个实用技术是通过开发软件系统的内部功能和特性来隐性支持和促进道德行为[14]。另一方面,显式伦理机器可以通过使用伦理原则的显式表示来解释伦理信息[14,18]。明确的伦理机器可以处理新的情况,并合理地做出明确的伦理判断[14,18]。
ML研究界已经开始探索将现代ML能力应用于机器伦理。之前已经介绍了各种用于伦理推理的ML方法。例如,[19]中的工作探讨了一个神经网络模型,该模型对特定的道德判断和基于案例的道德推理进行分类。在[20]的工作中简要介绍了一种基于案例的推理方法,以开发能够指导对道德问题和困境进行推理的系统。[20]中提出的一个主要问题是,机器如何协助或潜在地取代人类在道德推理中的位置。
[21]中提出了一种不同的计算伦理学方法,它采用了一种基于行动的伦理学理论方法。作者为一个具有多种计算职责的伦理理论开发了一个高效的决策程序[21]。除了ML能力之外,还有其他方法来解决这个问题,比如说,使用义务逻辑(deontic logic)(哲学逻辑领域关注义务、许可和相关概念)。例如,[22]中的作者描述了如何使用行为逻辑将一套特定的伦理原则纳入自主系统的决策过程。另一方面,[23]中的工作评估了应用行为逻辑方法来实现伊曼纽尔-康德关于绝对命令和道德义务的基本原则的可行性。作为伊曼纽尔-康德关于机器伦理学的一般方法,存在一个决策程序,用于生成绝对命令,并从中得出行动规则。根据[23]中提出的方法的结果,道德范畴被表述为禁止的、允许的或强制的行动。
文献表明,在分布式人工智能的背景下,有多种方法来定义自主性和自主系统的概念。自主性可以被定义为智能体在没有直接外部干预的情况下独立行动的能力,并在最小的人类监督下做出决定。自主系统概念的定义在其自主性属性方面也有不同。其外部和内部状态决定了自主性的属性。当一个系统的行为是非决定性的,可以被认为是自主的。非决定性的系统即使在相同的环境输入的情况下也可能表现出不同的行为,甚至可能完全失败。另一方面,如果考虑到系统的内部状态,一个自主系统也可能是确定性的。一个确定性的系统是一个系统,它的模型从一个给定的环境初始状态或情况下持续产生相同的结果。在这种情况下,主动性、互动性和涌现是最能描述自主性及其相关基本特征的三个属性[24,25,26]。自主性的属性摘要见表1。
表1. 自主性属性总结。
主动性。智能自主系统必须安全地适应动态和不可预测的环境中的意外情况,以便在各种领域中使用[27]。当自主系统在没有明确的外部事件的情况下激活目标或启动行动时,这种自主性的属性被称为主动性[24,25,26]。
交互性。这一属性指的是智能体与环境的交互。自主系统可以动态地与复杂和不可预测的环境互动并作出反应。此外,智能自主系统还能适应动态环境的变化。这一特性在实时应用中非常重要[24,25,26]。
紧急性。复杂的多智能体系统是由多个相互作用的子系统组成的。智能体的交互和主动性产生了新出现的自主属性,这些属性事先没有明确的模型。在大规模多智能体系统的背景下,紧急性的特点是随着时间的推移,与环境的非线性相互作用引起的意外系统行为。这种特性影响着系统的可靠性和可预测性,它被用作评估自主软件系统的标准[24,25,26,28]。
受监管的自主性。随着目前人工智能研究的进展和现代自主系统的影响越来越普遍,建立政策、法规和准则以确保人工智能驱动的智能系统保持可信、道德和以人为本是非常重要的。例如,欧盟的一般数据保护条例(GDPR)[29,30]和美国的公平信用报告法(FCRA)[31]所采用的隐私条例对如何处理个人互联网数据给出了指示,并授予个人访问其个人信息的权利,以及获得有关智能自动系统所做决定的合理解释。采用这样的一套法规,使我们能够评估围绕人工智能驱动的自主系统及其运作方式的法律和伦理问题。
自主性的级别。根据以前的研究工作,自主性的级别被分为强监管、操作性自主、战术性自主和战略性自主。自主级别与基础动态环境属性的映射在[26]中有所描述。环境的属性包括可观察的、决定性的、偶发的、静态的和智能体。一个可观察的环境在任何时候都能完全或部分地接触到系统的所有必要状态。一个确定的环境是指基础环境的下一个状态完全由当前状态和智能体选择的行动决定[32]。在偶发环境中,智能体的经验被分为多个独立的偶发事件。环境中的每一个情节都由智能体的感知和然后的行动组成。换句话说,偶发环境是指之前的行动不影响下一次的观察[32]。然而,如果随后的行动取决于先前的行动,则环境被称为顺序性的。如果一个环境不随时间的推移而变化,则被称为静态环境。如果一个环境在其上运行时发生变化,则被称为动态环境。单一智能体系统意味着只有一个智能体在一个特定的环境中行动和互动。然而,如果多个相互作用的智能体与他们的环境相互作用,则被称为多智能体系统。
强监管表示没有自主能力的系统。这种监管在复杂程度有限的环境中是有效的。操作性自主表示决策的操作层面。实现操作自主性的智能软件系统在部分可观察、确定性、偶发性和静态的环境中实际上是有效的[26]。战术自主性在自主系统的战术决策方面扩展了操作自主性。
自主性是学术界和工业部门的一个活跃的研究领域。随着现代分布式自主系统和智能技术的普及,人工智能和ML方法已经大大推进了各种研究领域问题的最新进展。人工智能方法在大幅提高自主系统的性能和安全性方面具有关键作用。完全自主的和其他复杂的网络系统被配置和编程为连续运行。这些复杂的系统不断从周围环境中收集复杂的信息。因此,操作和理解完全自主系统的动态和运动学,并实时处理巨大的信息流是极具挑战性的,超出了人类的能力。这时,基于人工智能的技术及其底层的ML能力就有了压倒性的帮助。事实证明,人工智能和ML系统在一些领域比人类更强大、更高效[33,34,35,36]。除此之外,人工智能和ML系统经常在复杂情况下指导人类理解和自主决策过程[37,38]。
先进的人工智能和自主系统技术已经改变了我们的生活,并将在未来继续改变。这种由人工智能驱动的技术革命的空前成功,其潜力在于人工智能系统在各种新兴技术中的适用性迅速增加。例如,在过去的几十年里,人工智能技术在机器人和自主系统界创造了潜在的现实世界影响。除了人工智能的潜在好处外,人们也担心强大的人工智能系统的长期影响[39,40,41]。最近,强大的人工智能和ML技术在战术自主方面的进展已经彻底改变了广泛的领域,包括自主驾驶[42,43,44]、航空和航天工业[45]、无人驾驶飞行器(UAV)导航[46]、海上防御[47,48]等。最近自主系统的大多数方法都是基于不同的人工智能技术。表2列出了用于战术自主的最先进的人工智能技术的摘要。一些主要类别的方法详细包括以下内容。
深度学习(DL)。这是一种有效且强大的人工智能应用算法,如计算机视觉、自然语言处理(NLP)、机器人、人工智能游戏和其他应用。自其诞生以来,深度学习(DL)方法已被证明能有效地发现和学习高维训练数据的复杂结构[49]。由于深度神经模型在复杂环境中带来的巨大性能,DL技术最近被用来解决一些现实世界的应用,如自动驾驶[50,51,52]、计算机视觉[53]、图像分类[49]、视频预测[54]等。作者在[55]中展示了深度Q网络(DQN)代理如何学习为自主驾驶做出一个通用的战术决策模型。DL方法也有助于根据当前和过去对周围环境的观察,预测复杂驾驶环境中自主车辆的行为和性能[56,57]。此外,[58]中提出了一种使用深度神经网络估计端到端车道位置的方法。
强化学习(RL)。要实现人工智能技术的全部影响和潜力,需要智能自主系统能够动态地学习并自动做出独立的决定。与自主系统相关的战术决策任务的一个根本不同的方法是利用一种不需要对输入的训练数据进行标记的人工智能/ML技术。完成这种任务的一个强大的ML范式是应用强化学习(RL)技术[59]。RL是一个框架,为经验驱动的顺序决策问题提供了有效的解决方案[59]。它关注的是智能人工智能代理应如何在复杂和嘈杂的环境中做出合适的决定,以使特定可执行行动的累积奖励最大化。RL是基于自我学习的人工智能代理和其复杂环境之间的动态互动序列。通过其在人工智能代理中的自学能力,RL正在使各种科学领域取得令人兴奋的进展,如自主机器人[60]、自主驾驶[61,62]、NLP[63,64]、游戏[65,66]和许多其他应用。可以利用RL技术来为自主系统创建一个通用的战术决策代理。例如,基于神经网络集合的贝叶斯RL技术被用于自主驾驶的有效战术决策代理[67]。此外,最近的一些工作也将基于深度RL的技术扩展到移动机器人的自主导航任务中[68,69]。
联邦学习(FL)。在传统的ML和DL应用中,来自不同客户的训练数据通常被聚集在一个中央服务器或云平台上,以训练模型有效地执行一个给定的任务[70]。这是一个常见的数据隐私问题,也是经典的ML和DL方法的基本限制,主要是当训练数据包含高度敏感和机密的信息(如国家机密和军事相关信息、医院等),会引起广泛的安全和隐私以及法律和道德问题。维护智能系统的安全和隐私仍然是一个公开的挑战。这种情况下,联邦学习(FL)技术是有帮助的。联邦学习是一种新兴的、有前途的去中心化ML范式,它通过采用分布式计算来解决数据安全和隐私问题[71],提供了一种解决方案。它使网络中许多资源有限的分布式客户端能够协同训练ML模型,而无需交流他们的本地数据,主要目的是保护用户的隐私和安全[72,73,74]。通过利用跨学科的技术和科技,机器人和自主系统正变得越来越普遍。鉴于隐私保护、分散学习、并行训练和机载处理等独特的优势,FL有可能成为分布式自主系统的安全和高效的人工智能框架[75]。例如,在[76]中,作者提出了一个FL框架,使自主控制器模型在一组连接和自主的车辆中进行协作学习。其他作者在[77]中证明了FL模型可以被用来从更大的设备池中检测和识别不同类型的无人机,通过利用单个无人机传输的射频信号。
表2. 用于战术自主能力的人工智能技术综述。
最先进的人工智能和ML技术正被越来越多地应用于一系列需要改进操作可靠的时间关键型和安全关键型系统,如军事、国防、航空航天、自动驾驶[78]、医学[79]、科学[80]等。为了提高和确保其端到端的有效性和弹性操作,这些具有人工智能能力的现代自主系统必须被持续验证、核实和监测。此外,为了使自主系统保持稳健的运行,还需要持续的系统性能评估,以识别不可预见的风险、异常情况和潜在的对抗性威胁。此外,对于超出人类控制的自主武器,也有人工智能支持的军事关切[81]。
可解释人工智能。最近ML技术的进步使得人们对人工智能系统的可解释性越来越感兴趣,以帮助人类更深入地了解ML算法的决策过程。在过去的几年里,先进的人工智能系统在各种复杂的应用中广泛部署,与此同时,道德、法律和社会对这些系统提供人类可理解的模型解释和对其输出的解释的要求也在增加。作为这些要求的结果,最近有几项关于要求对基于人工智能的自动系统所做的决定进行解释和说明的法规的工作被引入[82,83,84]。这也导致了一个不断增长的研究群体,他们非常关注可解释的ML技术。如图2所示,为用户提供可理解的解释和说明,可以让他们更深入地了解系统的自动决策观点,这是建立对底层人工智能和ML系统信任的关键因素[85,86,87]。因此,在关键系统的人工智能模型和技术中建立可解释性和可解释性也会对安全[88]、伦理[89,90,91]、法律[92,93,94]和可转移性[95]产生影响。然而,人工智能和ML系统的内部运作是人类难以理解的,被认为是黑箱方法,只有输入和输出对用户可见[96]。这种人工智能和ML系统的算法缺乏透明度,对现实世界的用户需求缺乏了解,以及我们无法充分解释这些系统如何以及为什么会达成特定的人工智能驱动的自动决策,使得它从根本上难以理解,即使是该领域的专家[96,97]。为了让人类充分信任人工智能驱动的系统并建立信心,底层系统的解释必须与人类的期望和认知一致。最近,越来越多的开源解释工具和平台产生了不同的解释,用于探索和解释底层的黑盒ML模型,正在被用户访问[98,99,100,101]。然而,尽管最近作出了努力,目前大多数最先进的解释和解释技术需要更加值得信赖。
图 2. 可解释 AI。如第 8 节所述,开发高级 ML 技术以生成可解释的模型是我们未来工作的一个方向。除此之外,集成最先进的解释接口以产生对底层模型的有效解释是我们计划在未来工作中探索的挑战。
可信任人工智能。先进的人工智能和ML模型能够加速复杂系统中数据驱动的自动决策过程。然而,正如前面所解释的,尽管最近人工智能和ML系统在科学和技术领域被广泛采用,其系统模型在很大程度上仍然是黑盒方法。对这些复杂的系统如何全面运作有一个清晰和充分的了解,对于建立信任和透明度是很有帮助的。此外,了解人工智能和ML系统的内部运作,可以让用户更好地了解底层模型,然后利用它将模型从不可信转变为可信任的。当模型被用于自动决策系统时,确定人工智能和ML模型的可信度是一个基本问题。正如第6节所解释的,人类和智能机器之间的合作使现代自主系统得到了快速发展和广泛使用。在军事和国家情报机构以及其他关键领域有效使用这种复杂的系统,取决于人类和机器之间建立的信任。因此,鉴于人工智能驱动的技术在众多自主系统中的应用范围迅速扩大,使这些系统可靠和值得信赖比以往任何时候都更重要[102]。建立一个安全和可信赖的人工智能生态系统对于确保人类安全和在各种应用中采用先进的人工智能技术至关重要[103]。可信的人工智能是一个技术术语,描述了人工智能的安全性、合法性、稳健性和道德原则,包括对人工智能驱动的系统的安全性[104]、隐私[105]、透明度和公平性的基本关注[106,107]。使人工智能系统值得信赖的要求和要素如图3所示。可信的人工智能的基本概念是基于这样一个概念:当信任建立起来时,人工智能会充分发挥其潜力。可信性赋予人工智能系统可解释性技术,使人类更容易理解和信任无处不在的人工智能算法所产生的结果和输出背后的特征和原因。
图 3. 可信人工智能的要求和要素 [108]。
任务自主性。它是一个技术术语,大多用于国防和航空航天技术行业和其他下一代自主和智能系统。任务自主性是指自主系统在使用现代数据驱动的人工智能/ML技术对底层系统的了解和理解的基础上,独立执行各种基本的复杂任务的能力,如深空探测任务[109]。为了使先进的任务自主系统的开发和实施在战术上有用,必须解决上述与自主和人工智能系统相关的潜在安全和风险问题。
先进的算法决策系统的激增使得不同平台之间的协作成为可能。然而,实现和确定人类、智能机器和自主代理之间的直接协作是具有挑战性的。一些需要解决的主要技术挑战是互操作性、可组合性和适应性。
互操作性。在自主性方面,互操作性使不同类型的大规模自主系统能够通过底层平台独立地进行通信。当设计具有强烈自主性概念的交互式自主代理系统时,互操作性问题发生在不同的层面。正如在[110]中详细描述的那样,互操作性层可以分为连接层、通信层、本体层和服务层。
可组合性。在软件系统开发领域,可组合性对于创建一个强大、灵活和可互操作的系统来说是必要的,在这个系统中,不同的交互式自主组件可以无缝通信[111]。它能够将基于组件的系统的独立功能结合起来,以完成一个特定的、无法独立完成的总体任务。可组合性使系统设计有能力通过重复使用现有的系统组件和适应新的变化来提高敏捷性[111]。一个可组合的架构允许几个系统组件的组装。这样的方法有重要的好处,包括可重用性、灵活性和改进的模块化。自主性、模块化和可发现性是可组合组件的主要元素。在一个可组合的系统中,每个组件都被期望在没有其他组件的帮助下自主独立地执行一个给定的任务。另一方面,模块化是指当一个可组合系统中的每个组件被设计成独立解决一个特定任务时的系统属性。这使得系统设计者有可能将模块化组件组装成一个系统。除此之外,可组合系统的框架必须可以被其他用户发现,以便单个组件可以被重复使用。
适应性。一个交互式自主系统需要意识到它的内部状态和它稳健运行的复杂环境。先进的自主系统有能力自主地、互动地监测和适应复杂环境中的任何意外变化。一个复杂的系统有效处理运行环境中动态功能变化的程度被称为适应性[112,113]。一个适应性强的、稳健的、有弹性的系统能够容忍环境中的突然变化和动态情况,而不依赖外部干预[112]。
人机协作的概念及其能力是当前人工智能研究中许多进展的核心。人机协作是一种范式,在这种范式中,人类和具有不同能力的智能机器整合并紧密合作,以完成一个需要集体行动的共同目标[114,115]。它关注的是对打算供人类使用的智能机器的深入理解和评估[116]。鉴于最近的指数增长和人工智能技术的预测能力,在智能系统和人类之间创造一个成功的协作操作环境来解决复杂的问题是至关重要的。然而,广泛采用人工智能系统的主要挑战之一是将人类和分布式智能系统无缝整合以实现共同目标的能力。
有效地利用人机合作,使人类能够更深入地了解智能机器的自动决策。然而,正如第4节所解释的,这高度依赖于人工智能自动决策系统和人类之间的信任。这是因为当人类对人工智能驱动的决策给予更多的信任时,就会产生关于信任问题的疑问。人机合作的有效性主要取决于机器的透明度以及用户对人工智能系统的行为是否符合预期、安全、可理解的信心程度[117]。跨越多个学科、由现代人工智能技术驱动的自主系统和领域专家的广泛合作,对于建立人工智能/ML模型的可解释性,创建一个可信赖的人工智能生态系统,以及释放人工智能的潜力以解决更多重大问题,是非常引人注目的。
人工智能有可能提高人类的能力,使组织决策自动化,并从根本上改变企业的运作方式[118,119]。人工智能/ML系统的可解释性是一种潜在的人机合作方式,因为具有解释和解释结果能力的自动化使人类能够更好地理解智能机器的基本行为。使用自主系统的主要好处之一是能够比人更快地实时处理更多数据。为了确保安全和有效的关键任务操作,跨越不同领域的自主系统,如国防、医疗[120]、航空航天、制造、自动驾驶等,都被评估为与人类协作操作。因此,探索更好的人机协作的前沿技术,有能力提高生产力、可用性、可靠性、操作性能、通信接口、设计和操作平台的成本,在人类和智能机器之间分享知识,并确保安全和现有系统适应新环境和新任务的能力[121,122]。在[123]中提出了一个人机合作框架,指导人工智能开发团队创建广泛采用的道德人工智能系统,这些系统是可用的、安全的、值得信赖的。除此之外,主要的参与者,如IBM[124]、DeepMind[125]、谷歌[126]和其他学术机构最近启动了一项研究工作,以加强人机协作[127,128,129]。
自主系统的重大进展正在日益提高我们日常生活的质量。鉴于过去几年的这些技术进步,出现了不同形式的人机协作。自组织编队是指具有不同知识和能力的人类和智能机器集体合作以实现共同目标的过程[130]。自组织人机编队是一个具有挑战性的场景,在这个场景中,智能体与未知的异质队友合作,事先没有协调的知识。一个有效的自组织团队成员是一个善于将其他代理的能力与自己的能力进行比较评估的代理。在军事、工业和其他自主环境中,在没有任何先决条件的情况下与异质团队进行有效和稳健的合作是非常重要的。没有任何事先协调的协作是人机研究中的一个已知挑战[131]。作为解决这个问题的一种方法,[132]中提出了一种针对自组织团队环境的在线规划算法,该算法是为智能体在没有任何预先协调的情况下进行合作而设计的。
以下是限制我们在动态操作环境中有效整合人类和智能机器的一些主要挑战。
异质性。在人机协作中,由于人类决策任务的显著异质性,智能机器很难预测和适应人类在动态操作环境中的行动。因此,开发可用于解决人机协作环境中异质性问题的最先进的模型和技术非常重要。
通信。人机协作的成功取决于人类和智能机器之间的有效通信。人类的通信能力有限,只能处理有限的信息量。因此,通过简单地交换基本信息,人类和机器可以有效地沟通信息,支持人机协作。然而,这在人类和机器之间造成了信任问题。有效团队沟通的一个关键组成部分是智能系统和人类之间建立的信任[133]。在人机协作中,信任被定义为用户对智能系统结论的可靠性及其完成既定目标的能力的信心[134,135]。透明度的概念是信息交流的一个关键方面,因为人类和智能机器需要共享知识,对意图、推理和决策过程、性能和未来计划有共同的理解[136,137]。
当人类和机器作为团队一起工作时,通信可能有助于建立信任。此外,它可以用来建立有效设计信息的准则,促进人机合作的整体性能和信任[138]。然而,机器必须首先能够大致模仿人类处理信息的方式,才能使机器以人类能够理解的方式交换信息。人机协作关系有三个最重要的组成部分:人、智能机器、以及人与智能机器(或替代品)之间的互动。因此,如上所述,通过开发可解释和可信赖的人工智能来建立信任,对人机协作的成功至关重要。然而,人工智能系统日益增长的复杂性和脆弱性,以及它们学习和适应动态变化的操作环境的能力,也为在人机团队中建立信任提出了新的挑战。
协调。为了充分发挥异质团队的潜力,人类和智能机器应该以高效和协调的方式进行合作。如上所述,人机协作中的通信是指人与智能机器之间的信息交流,或者说是交替进行。另一方面,协调是指组织和管理团队成员及其相关行为以实现特定的共同目标[139,140]。根据[141],有效的人机协调涉及三个基本要求。这些要求是共同点、可预测性和可指导性。为了准确有效地进行团队沟通,参与者必须首先确定适当的共同点,即知识、共同信念和假设、共同目标等。共同点是指参与对话的所有参与者共同相信的信息[141]。而协调小组成员合理预测对方行动和行为的能力被称为相互可预测性[141]。另一方面,可指导性是指当环境和优先事项突然改变时,团队成员重新指导、帮助或影响对方行为的能力[142]。因此,根据这三个要求开发一个支持隐性协调的高级模型是很重要的。隐性协调被定义为在不使用行为通信的情况下,基于假设和意图同步团队成员的行动和行为的过程[143,144]。这意味着通信对于隐性协调来说不一定是强制性的。隐性协调有助于提高团队的效率,因为它使团队成员即使在没有直接沟通的情况下,也能通过避免分心和有效通信来共同工作[145]。这反过来又大大减少了通信的开销[146]。
适应性。通过调整策略和行为来有效改变行动方案以应对意外变化的复杂条件的能力被称为适应性[113]。适应性可以分为两类:人类辅助的适应性,以及机器辅助的适应性[147]。智能机器应该能够识别人类队友的知识和行为。此外,机器还应该能够预测和应对人类的新知识和行为。然而,这需要开发现代适应性(即机器控制的适应性)和适应性(即人类控制的适应性)系统。
近年来,自主系统吸引了学术界和工业部门的大量关注。然而,自主系统在各种领域的广泛和有效采用也带来了需要解决的安全攻击的显著增加。因为网络攻击者的目标是大规模自主系统,如现代自主车辆(AV)、载人航天器、空间交通管理系统、船舶、移动机器人、复杂核电站的运营、飞机、智能城市的关键基础设施等,以破坏系统的安全性,并对其运营造成破坏性的损害。因此,设计基于人工智能的方法是至关重要的,它可以主动应对试图破坏和获取自主系统及其指挥组件的潜在破坏性攻击,例如,针对系统的基本自主决策能力。自动检测和应对铺天盖地的安全威胁,处理大量的数据,并发现未知攻击的新模式,是人工智能系统在网络安全方面的一些好处[148]。
人工智能在网络安全方面的挑战。人工智能会带来不可预见的法律、道德和社会风险和挑战,如果不能有效解决,可能会大大降低其潜力。如上所述,人工智能及其先进的ML技术已经发展成为广泛的创新和动态领域的一项有利技术。人工智能具有战术和战略上的潜在好处。然而,在与使用人工智能系统相关的信任和道德考虑方面,它也被认为有一些关键的制约和限制。例如,[149]中的作者谈到,人工智能本身可能对网络安全和法律及道德问题构成威胁。他们认为,人工智能系统缺乏可解释性和可解释性,可以被利用来隐藏安全攻击[149]。[150]中的另一项工作也证明了人工智能在网络安全威胁方面既有积极作用,也有消极作用。此外,鉴于人工智能驱动的网络欺凌的兴起,作者还认为应该允许网络安全专家继续做他们的工作,并在人类智能有必要时进行网络测试。
入侵检测系统旨在检测网络中尽管采取了预防措施但仍不可避免地发生的入侵或安全攻击[151]。入侵检测系统有多种方法。一些方法采用了基于签名的技术,在该技术中,事件被检测到并与预先定义的已知安全攻击和入侵的签名数据库进行比较[152,153]。其他系统采用异常检测技术,系统在数据中发现潜在的有害模式,这些模式不符合正常行为的预期概念[154,155,156] 。在现代自主技术中,监测和识别异常情况,检测非法和恶意活动,并采取补救措施,以确保实时自主决策系统的持续运行,特别是在战术环境中,同样重要。[157]中提出了一个原型的分布式入侵检测架构,该架构使用为战术环境定制的自主代理。[158]中提出了一种基于人工智能的方法来识别和检测无人机中的入侵行为。
反自主技术越来越受欢迎,之前已经提出了各种方法来解决这个问题。当一个自主系统的基本保密性和功能受到损害时,它就会使自己更容易受到未来的安全攻击,并对其他自主系统构成潜在威胁。因此,在不断变化的条件下,主动检测和识别旨在针对自主系统的潜在网络攻击是至关重要的。在[159]中,作者调查了需要解决的安全和隐私挑战,以提高网络物理系统的复原力。在[160]中介绍了一个用于自驾车的入侵检测系统。160]中的工作涉及到,自动驾驶汽车如果被破坏,也会对道路上的乘客和行人构成风险。此外,他们的论文还讨论了互联自动驾驶汽车的漏洞如何超越了对道路上的司机、乘客和行人的危害。作者认为,互联自动驾驶汽车的协调有可能被用来发动影响大规模车辆特设网络(VANET)的大范围攻击[160]。
无人机系统具有巨大的潜力,可以在广泛的下一代技术应用中彻底改变研究和创新。这些系统有可能受到复杂的攻击,旨在破坏其复杂的操作和自主决策能力。这些攻击可以用于进攻性和防御性的网络行动。因此,有必要制定灵活和积极的战略,有效地提供一个潜在的防御机制,以应对旨在利用安全关键的自主系统在最小的人为控制下的实时漏洞的攻击。
战术自主性为许多国防和军事应用提供了一个很好的解决方案,只需有限的人力参与。ML和AI系统为实现民用和军事应用的自主性创造了前所未有的机会。然而,为了开发长期的、值得信赖的、强大的和安全的自主系统,需要解决基本的挑战。对智能系统中使用的复杂技术和工艺的实际理解是许多人工智能和ML系统的关键部分,这些系统是战术自主的核心组成部分。
虽然有许多开放性的研究问题需要解决,但要实现战术自主性在国防和其他应用中的全部潜力,需要解决的一些最长期和最重要的挑战包括以下几点。
用于战术自主的可信赖的人工智能。为关键的国防任务开发可信的、强大的和有弹性的人工智能和ML框架,需要了解与可信的人工智能和任务自主性有关的理论和实践技术和方法,平台之间的协作,以及通过解决第4节、第5节和第6节分别讨论的关键技术挑战实现的人机合作。为了增强对人工智能系统的信心,我们需要进行更多的研究来解决这些问题,使人工智能系统值得信赖。
对基于人工智能的模型进行验证。确保基于人工智能的解决方案按照预期工作是极其重要的。然而,设计最先进的方法来验证基于人工智能的系统是具有挑战性的,需要大量的工作。
平台之间的协作。改善人类和完全自主的系统(如飞行员和自主副驾驶)之间的实时协作是具有挑战性的。因此,开发一个有效的、高效的协作性自主解决方案是一个需要克服的关键挑战。
人机联合协作。深入了解机器如何向人类学习,人类如何向机器学习,以及机器和人类如何共同工作是非常重要的。我们如何才能设计出先进的自主系统,在军事和国防环境中与人类协同工作?
提高安全性。我们如何设计和部署一个端到端的方法,整合现代安全关键型自主系统的安全问题?
军事和国防工业希望利用AI和ML的能力来推进和改善其在战术环境中的表现。在本文中,我们对战术自主的概念、技术和技术进行了全面的技术概述。此外,我们的论文还强调了在试图为先进的现实世界军事和国防应用实际建立完全自主系统时出现的一些关键和操作挑战。因此,我们希望本文能鼓励人工智能和ML研究人员在战术自主性领域进一步探索开发架构和方法论。
设计先进的人工智能和ML模型,对现实世界的军事和国防应用具有实际意义,这是一个很大的挑战。进一步调查这个问题,重点是在以前的研究工作中没有充分解决的尖端人工智能和ML方法,是未来工作的一个有趣的方向。此外,展示一系列实际应用和最先进的方法,以解决和深入了解本文所讨论的一些长期关注的挑战,是未来战术自主权实际应用的另一个研究方向的课题。