人工智能（AI）的最新进展预示着一个信息周期加速和技术扩散加剧的未来。随着人工智能的应用变得越来越普遍和复杂，特种作战部队（SOF）面临着辨别哪些工具能最有效地满足作战需要并在信息环境中产生优势的挑战。然而，SOF目前缺乏一个以终端用户为中心的评估框架，它可以帮助信息从业者确定人工智能工具的操作价值。本论文提出了一个从业人员的评估框架（PEF），以解决SOF应该如何评估人工智能技术以在信息环境中开展行动（OIE）的问题。PEF通过信息从业者的角度来评估人工智能技术，他们熟悉任务、行动要求和OIE过程，但对人工智能的技术知识有限甚至没有。PEF包括一个四阶段的方法--准备、设计、执行、推荐--评估九个评价领域：任务的一致性；数据；系统/模型性能；用户体验；可持续性；可扩展性；可负担性；道德、法律和政策考虑；以及供应商评估。通过一个更加结构化、方法化的方法来评估人工智能，PEF使SOF能够识别、评估和优先考虑OIE的人工智能工具。
人工智能（AI）的最新进展预示着一个加速信息周期和加强技术传播的未来。特种作战部队（SOF）目前缺乏一个以终端用户为中心的评估框架，该框架可以帮助信息从业者确定人工智能工具的操作价值。这篇论文提出了一个从业人员的评估框架（PEF），以解决SOF应该如何评估人工智能技术以在信息环境中开展行动的问题（OIE）。
PEF通过信息从业者的角度来评估人工智能技术，他们熟悉任务、操作要求和OIE过程，但对人工智能的技术知识有限甚至没有。该框架包括一个简单的四阶段方法--准备、设计、执行、建议--评估九个评价领域，如图1所示。
根据现有文献和对美国政府、工业界和学术界的人工智能和世界动物卫生组织专家的采访，PEF是通过对四个主要研究领域的分析制定的。
1.OIE的潜在AI应用。论文发现，人工智能可以帮助从业者解决OIE中的四个传统挑战：分析信息环境，实现内部产品开发，提高信息传播的及时性和规模，以及提高衡量有效性的能力。
2.人机合作（HMT）的主要原则和考虑。研究强调了 "合理的信任 "对有效的HMT的重要性。 由于OIE的认知性、以人为本的性质，信息部队在HMT中面临着额外的复杂性，这就需要人工智能系统进一步透明和可解释。
3.技术接受和采用理论。理论分析揭示了相对优势、兼容性和复杂性在技术采用中的突出作用。对技术的信任和用户可用的时间也影响到人工智能在OIE的采用潜力。组织层面的因素，如准备情况、管理支持和政府政策也是重要的考虑因素。
4.正在进行的增加人工智能透明度的倡议。对现有框架的分析--国防创新股的负责任的人工智能（RAI）指南、模型卡、数据表、概况表和系统卡--揭示了考虑透明度和评估人工智能有效性的关键因素。这些要素包括对预期用途、数据出处、模型性能、模型的局限性和道德考虑有一个清晰的认识。
为了测试拟议框架的可行性，PEF被用来评估Pulse，这是一个目前由美国陆军特种作战内部的OIE单位使用的数据收集和参与平台。评估发现，PEF使从业者在使用人工智能工具时，能够划分出优势以及需要额外考虑的领域。特别是，对系统/模型性能和用户体验的评估突出了两个关键点。首先，与系统相关的复杂程度需要重点了解谁是目标用户。第二，为了正确地评估人工智能，模型的性能指标--这些指标在传统上没有被传达给终端用户--应该被从业者所接受并可以解释。
这篇论文建议美国特种作战部利用PEF作为从业人员对人工智能技术进行初步评估的准则。通过一个更加结构化、有条不紊的方法来评估人工智能，这个框架使SOF能够识别、评估和优先考虑人工智能支持的工具，这些工具能够有效地解决行动需求，并在信息环境中产生优势。PEF还确保从业人员考虑纳入美国防部RAI战略的评价标准。
本论文包括六个主要部分（第二章至第七章）。第二章建立了基础，首先解释了人工智能和OIE的关键概念和定义。该章还讨论了从业者在计划、执行和评估OIE时面临的挑战，并确定了可以解决其中一些挑战的人工智能技术。第三章阐述了信任在人机协作中的关键作用，它影响了人工智能在军事行动中的有效使用。第四章深入研究了技术接受和采用理论，以确定影响OIE单位内人工智能技术采用性的重要因素。第五章评估了现有的框架，这些框架有助于提高人工智能系统的透明度，并可由SOF利用这些框架来评估技术。进行了定性分析，以确定通过开源研究发现的50个模型卡的共同主题。第四章和第五章的发现被用来建立第六章提出的从业人员评价框架（PEF）。在第七章中，该框架被用来评估Pulse--一个目前被OIE单位采用的人工智能工具。第八章最后提出了对未来研究的总体建议和意见。
原文英文版
相关内容
微信扫码咨询专知VIP会员