尽管人工智能 (AI) 具有许多潜在的好处，但它也被证明在复杂的现实世界环境（如军事行动）中表现出许多挑战，包括脆弱性、感知限制、隐藏的偏见和缺乏因果关系模型，这些对于理解和预测未来事件很重要。这些限制意味着，在可预见的未来，人工智能仍不足以在许多复杂和新颖的情况下独立运行，并且人工智能需要由人类仔细管理才能实现其预期的效用。
本报告“Human-AI Teaming: State-of-the-Art and Research Needs” 检查了与人类操作相关的 AI 系统的设计和实施相关的因素。本报告概述了人机协作的研究现状，以确定差距和未来的研究重点，并探讨了实现最佳性能的关键人机系统集成问题。
报告提纲
- 总结 1
- 1 引言 5
- 研究背景和向委员会负责, 6
- 委员会的方法, 7
- 自动化和人工智能, 7
- 人工智能的局限性, 8
- 人工智能对人类表现的影响, 9
- 报告结构和摘要, 10
- 2 人类与人工智能协作的方法和模式 11
- 协作编队, 11
- 人类与人工智能的协作模式和观点, 12
- 人类应该与人工智能合作吗？
- 人类与人工智能协作的改进模型, 16
- 关键挑战和研究差距, 17
- 研究需求, 17
- 总结, 18
- 3 人类与人工智能的协作过程和效果 19
- 人工智能成为队友意味着什么？
- 有效的人类-人工智能协作的过程和特征, 20
- 编队的异质性, 20
- 共同的认知, 21
- 沟通和协调, 22
- 社会智能, 22
- 有效协作的其他特征, 23
- 主要挑战和研究差距, 23
- 研究需求, 23
- 总结, 24
- 4 人类与人工智能协作的态势感知 25
- 多域作战中的态势感知, 25
- 关键挑战和研究差距, 27
- 研究需求, 27
- 人类与人工智能编队中的共享SA, 27
- 关键挑战和研究差距, 29
- 研究需求, 29
- 总结, 30
- 多域作战中的态势感知, 25
- 5 AI的透明度和可解释性 31
- 显示透明度, 34
- 关键挑战和研究差距, 35
- 研究需求, 35
- 人工智能的可解释性, 36
- 关键挑战和研究差距, 37
- 研究需求, 38
- 总结, 40
- 显示透明度, 34
- 6 人类与人工智能编队的互动 41
- 自动化水平, 41
- 关键挑战和研究差距, 44
- 研究需求, 44
- 人工智能的动态和时间性, 44
- 关键挑战和研究差距, 45
- 研究需求, 45
- 控制的颗粒度, 46
- 关键挑战和研究差距，46
- 研究需求, 46
- 其他人类与人工智能编队的互动问题, 47
- 关键挑战和研究差距, 47
- 研究需求, 47
- 总结, 48
- 自动化水平, 41
- 7 信任人工智能队友 49
- 过去和现在的信任框架, 49
- 复杂工作环境下的人工智能信任, 51
- 关键挑战和研究差距, 51
- 研究需求, 52
- 总结, 55
- 8 识别和减轻人类与人工智能编队中的偏见 57
- 人类的偏见, 57
- 人工智能偏见, 57
- 人与人工智能编队的偏见, 59
- 关键挑战和研究差距, 60
- 研究需求, 60
- 总结, 61
- 9 训练人类与人工智能编队 63
- 为人类与人工智能编队训练提供参考的人与人编队训练, 63
- 编队训练的策略, 64
- 仿真的使用, 64
- 训练内容：任务工作和团队合作, 65
- 关键挑战和研究差距, 65
- 研究需求, 66
- 总结, 67
- 为人类与人工智能编队训练提供参考的人与人编队训练, 63
- 10 人类与人工智能编队协作和绩效的HSI过程和量化 69
- 在人-AI编队的设计和实施中采取HSI视角, 69
- 关键挑战和研究差距, 70
- 研究需求, 70
- 人类与人工智能编队发展的研究要求, 71
- 关键挑战和研究差距, 71
- 研究需求, 71
- 研究团队的能力, 72
- 关键挑战和研究差距, 73
- 研究需求, 73
- 人类与人工智能编队的HSI考虑因素, 73
- 关键挑战和研究差距, 75
- 研究需求, 75
- 人类与人工智能编队的测试、评估、验证和确认，75
- 关键挑战和研究差距, 77
- 研究需求,77
- 人类与人工智能编队研究试验台，77
- 关键挑战和研究差距，78
- 研究需求, 78
- 人类与人工智能编队的措施和衡量标准, 78
- 关键挑战和研究差距, 80
- 研究需求, 80
- 敏捷软件开发和HSI, 81
- 关键挑战和研究差距, 82
- 研究需求, 82
- 总结, 83
- 在人-AI编队的设计和实施中采取HSI视角, 69
- 11 结论 85
- 参考文献 91
- 附录
- A 委员会简历 115
- B 人类与人工智能协作研讨会议程 119
- C 定义 121
报告总结
美国军方正加大对人工智能(AI)技术的投资，用于提高数据处理速度、任务规划自动化，以及创建更快的预测目标和系统维护，该技术也会在多域作战(MDO)的指挥控制中发挥关键作用。实现这一目标就要求人工智能系统具备任务执行的可靠性和健壮性，并且可以作为人类的队友协同工作。
尽管人工智能技术优势良多，但是也被证明在复杂的真实世界环境(如军事行动)中面临诸多挑战，包括脆弱性、感知限制、隐藏的偏见以及缺乏预测关系模型等。这就意味着，在可预见的未来，人工智能将仍然不足以在复杂和新环境下独立运行，人类需要仔细管理人工智能系统才能达到预期效果。
过去30年研究表明，人们作为复杂自动化(包括人工智能系统)的监控者同样面临巨大挑战。人们可能会对系统正在做的事情缺乏了解，在尝试与人工智能系统交互时工作负载高，在需要干预时缺乏态势感知，基于系统输入的决策偏差，以及手工技能的退化。这些众多的挑战将继续在人类方面产生问题，即使是更有能力的基于人工智能的自动化。
因此，需要开发有效的人-智能协同编队能力，利用人类和AI的独特能力，克服各自的不足。一个高效的人-人工智能编队最终会增强人的能力，提高性能，超越任何一个实体。为此，委员会制定了一套相互关联的研究目标，旨在围绕人类-人工智能编队发展，这些目标基于对人类-人工智能编队(第2章)、编队流程(第3章)、态势感知（SA）(第4章)、人工智能透明度和可解释性(第5章)、人类-人工智能交互方法(第6章)、信任(第7章)、减少人和人工智能偏见(第8章)和培训(第9章)的模型和度量的改进，并得到了人-系统集成(HSI)流程基金会(第10章)的支持。该报告总结提出人类-人工智能编队研究目标，包括近期、中期和远期目标。
人类-人工智能编队模型
委员会研究发现，将人类和人工智能系统作为一个编队来考虑具有重要价值。这种编队结构促使人们认识到需要考虑每个团队成员相互关联的角色，并强调团队互动的价值，包括沟通和协调，以提高综合效能。在这样的编队安排中，研究认为，一般来说，出于伦理和实践的原因，人类应该对人工智能系统拥有权威。需要改进人类-人工智能编队的计算模型，考虑相互关联的、动态发展的、分布式的和自适应的协同任务和条件，这些任务和条件也是MDO的网络化指挥控制系统所需要的，并且在设计交互空间内是可预测的。需要改进人类-人工智能编队的度量标准，考虑团队管理相互依赖和动态角色分配能力，减少不确定性，并提高人工智能系统提供符合作战人员期望的能力。
虽然假设人类-人工智能编队将比人类或人工智能系统单独运行更有效，但研究认为：除非人类能够理解和预测人工智能系统的行为，否则情况不会如此；与人工智能系统建立适当的信任关系；根据人工智能系统的输入做出准确的决策；以及时和适当的方式对系统施加控制。
人类-人工智能编队流程
人类和人工智能系统进行编队需要一个精心设计的系统，该系统具有任务分配工作和团队合作的能力。沿着这条路线，需要通过改进团队组合、目标对齐、沟通、协调、社会智能和开发新的人工智能语言来研究提高长期、分布式和敏捷的人工智能编队的效率。这项研究可以利用现有人类-人类编队的工作，但也认识到，需要新的研究来更好地理解和支持人类和人工智能系统之间的编队流程。此外，研究认为，应该考察人工智能系统通过充当团队协调员、指挥者或人力资源经理来提高团队绩效的潜力。
态势感知
人们普遍认为，态势感知(SA)对于有效的MDO性能至关重要，包括对人工智能系统的监督。在指挥控制作战中支持个人和团队SA的方法需要扩展到MDO，并且需要使用AI来支持信息集成、优先排序和跨联合作战空间路由的方法，以及提高SA对敌对攻击的弹性。需要开发改善人工智能系统的人类SA的方法，这些方法考虑不同类型的应用、操作的时间以及与基于机器学习(ML)的人工智能系统能力。此外，旨在在人工智能团队中创建共享SA的研究值得关注。人工智能系统需要在多大程度上既有自我意识又有对人类队友的意识，这需要探索，以确定整体团队表现的好处。最后，未来的人工智能系统将需要拥有综合的态势感知模型，以恰当地理解当前的情境，并预测未来情境。动态任务环境的人工智能模型是非常必要的，它可以与人类一起调整或消除目标冲突，并同步情景模型、决策、功能分配、任务优先级和计划，以实现协调和下达的行动任务。
人工智能的透明度和可解释性
改进的人工智能系统透明性和可解释性是实现改进的人类SA和信任的关键。实时透明对于支持人工智能系统的理解和可预测性是至关重要的，并且已经被发现可以显著地补偿回路外的性能缺陷。需要研究更好定义信息需求和方法，以实现基于ML的AI系统的透明性，以及定义何时应该提供这样的信息来满足SA需求，而不会使人过载。需要进一步探索基于ML的人工智能系统的解释的改进可视化，以及对机器人物角色的价值。此外，通过研究可以告知改进的多因素模型，解释如何促进信任和信任影响的决策。需要开发有效的机制来使解释适应接受者的需求、先验知识和假设以及认知和情绪状态。研究建议，应致力于确定对人类推理的解释是否同样可以改善人工智能系统和人-人工智能编队的效能。
人-人工智能编队互动
人-人工智能编队中的交互机制和策略对团队效率至关重要，包括随着时间的推移支持跨职能灵活分配自动化级别(loa)的能力。需研究确定改进的方法，支持人类和人工智能系统在共享功能方面的合作，支持人类操作员在多个loa下与人工智能系统一起工作，并确定在高loa下与人工智能系统一起工作时保持或恢复SA的方法(在环控制)。还需要研究来确定新的要求，支持人-人工智能编队之间的动态功能分配，并确定随着时间的推移支持loa中动态过渡的最佳方法，包括这种过渡应该何时发生，谁应该激活它们，以及它们应该如何发生，以保持最佳的人-人工智能编队效能。研究建议也对剧本控制方法进行研究，将其扩展到MDO任务和人-人工智能编队中应用。最后，更好地理解和预测紧急人机交互的研究，以及更好地理解交互设计决策对技能保留、培训要求、工作满意度和整体人机团队弹性影响的研究也是非常有益的。
信任
对人工智能的信任被认为是使用人工智能系统的一个基本因素。这将有利于未来的研究，以更好地记录团队环境中涉及的决策背景和目标，促进对更广泛的社会技术因素如何影响人-人工智能编队中的信任的理解。超越监督控制的交互结构也将受益于进一步的研究，特别是理解人工智能可指导性对信任关系的影响。需要改进信任措施，利用合作的重要性，将不信任的概念与信任分开。最后，需要信任的动态模型来捕捉信任如何在各种人-人工智能编队环境中演变和影响效能结果。这项研究将很好地检验从二元团队互动中出现的信任结果，并将这项工作扩展到信任如何在更大的团队和多层级网络中的效果。
偏差
人工智能系统中的潜在偏差，通常是隐藏的，会通过算法的开发以及系统偏差等因素造成。此外，人类可能会遇到决策偏差。特别重要的是，人工智能系统的准确性会直接影响人类的决策，从而产生人类-人工智能编队偏见；因此，人类不能被视为人工智能建议的独立裁决者。需要进行研究，以更好地理解人类和人工智能决策偏差之间的相互依赖性，这些偏差如何随着时间的推移而演变，以及用基于ML的人工智能检测和预防偏差的方法。还需要研究发现和防止利用这些偏见的攻击行为。
训练
需要对人-人工智能编队进行训练。考虑到各种团队组成和规模，需要有针对性的研究如何训练人-人工智能编队。可以探索现有的训练方法，看看它们是否适用于人-人工智能编队。此外，可能需要训练来更好地校准人类对人工智能队友的期望，并培养适当的信任水平。开发和测试人-人工智能编队工作程序需要特定的平台。
HSI流程和措施
最后，要成功开发一个能像好队友一样工作的人工智能系统，需要HSI过程和方法改进。良好的HSI实践将是新人工智能系统的设计、开发和测试的关键，特别是基于敏捷或DevOps实践的系统开发。有效的人工智能团队也需要新的HSI设计和测试方法，包括提高确定人工智能团队要求的能力，特别是那些涉及人工智能的团队。多学科人工智能开发团队需要改进的方法，包括人工工程工程师、社会研究人员、系统工程师和计算机科学家。还需要围绕人工智能生命周期测试和可审计性以及人工智能网络漏洞的新团队、方法和工具。需要开发用于测试和验证进化的AI系统的方法，以检测AI系统盲点和边缘情况，并考虑脆弱性。支持这些新团队研发活动的新人工智能试验台也很重要。最后，可能需要改进人机系协同的度量标准，特别是关于信任、心智模型和解释质量的问题。
研究结论
总共提出了57个研究目标，以解决有效的人-人工智能编队面临的许多挑战。这些研究目标分为近期(1-5年)、中期(6-10年)和远期(10-15年)优先事项。这一组综合的研究目标若实现，将在人-人工智能编队竞争力方面取得重大进展。这些目标是将人工智能安全引入MDO等关键行动的基本前提，它们为更好地理解和支持人工智能系统的有效应用提供了参考框架。
Human-AI Teaming State of the Art and Research Needs (2022)
相关内容
微信扫码咨询专知VIP会员