下一代士兵系统关键技术《认知与神经人体工程学协同技术：美陆军最终研究报告》236页报告

认知与神经人体工程学/神经工效学（CaN）协同技术联盟（CTA）是一项为期 10 年的神经科学基础科学研究和技术过渡计划。该计划由美国陆军作战能力发展司令部陆军研究实验室于 2010 年成立，是政府、行业和学术合作伙伴之间的一项合作计划。在其任期内，CaN CTA 在神经科学、神经技术和相关领域取得了重大进展。CaN CTA 的工作影响了许多利用神经技术增强下一代士兵系统的陆军项目。本报告对该计划的愿景、方法和影响进行了高层次的概述，并详细介绍了成员组织取得的科学进步和技术成果。

报告简介

认知与神经工效学（CaN）合作技术联盟（CTA）一直是美国陆军在神经科学领域的旗舰基础科学研究和技术过渡计划。在过去的几十年里，神经科学的进步极大地推动了我们对大脑功能如何支撑行为的认识，为理解我们如何感知、认知和与世界互动奠定了现代基础。这些认识已经并将继续带来革命性的进步，促进技术解决方案的发展，以满足军队的需求。

CaN CTA 于 2010 年 5 月启动，汇集了世界一流的研究人员、经验丰富的行业合作伙伴以及美国陆军作战能力发展司令部陆军研究实验室最优秀的科学家，以利用全球在神经科学研发方面的巨大投资。CaN CTA 的科学研究和开发计划旨在推进和加速基于神经科学的方法的成熟，以了解士兵在作战环境中的表现，并增强下一代自适应士兵系统。

本报告总结并重点介绍了整个联盟在过去 10 年中取得的成就。更多信息，包括视频演示和软件工具，请访问发展司令部陆军研究实验室 CaN CTA 网站。同样，本报告的第 13 部分还包含了一份具有代表性的清单，其中列出了 CaN CTA 合作研究发表的 50 篇具有重大影响的论文。

1.1 组织

现代神经科学研究是一项真正的多学科研究。在全球领先的研究机构中，神经科学研究由来自不同领域的科学家进行，包括但不限于神经科学和神经生物学、遗传学、心理学、运动学、统计学、应用数学、物理学、计算机科学和工程学。这些研究工作有赖于作为 ARL CTA 核心的合作关系。CaN CTA 的合作机构从台湾到德国，真正体现了 CTA 的理念，汇聚了来自全球各地世界级研究机构的顶尖学者。

在行业合作伙伴 DCS 公司（DCS）的领导下，CaN CTA 联合会的成员包括学术研究界公认的领军机构。在其 10 年的执行过程中，CaN CTA 联盟及其合作伙伴包括以下机构： 哥伦比亚大学、卡内基梅隆大学 (CMU)、加州大学圣地亚哥分校 (UCSD)、加州大学圣巴巴拉分校 (UCSB)、德克萨斯大学圣安东尼奥分校 (UTSA)、佛罗里达大学 (UFL)、密歇根大学 (UMI)、马里兰大学巴尔的摩郡分校 (UMBC)、 宾夕法尼亚大学 (UPenn)、约翰霍普金斯大学 (JHU)、台湾国立交通大学 (NCTU)、澳大利亚悉尼科技大学 (UTS)、德国奥斯纳布吕克大学 (UOs)、西班牙庞培法布拉大学 (UPF) 和 Syntrogi（现为 Intheon）。

1.2 技术转移

即使进入该计划的最后一年，CaN CTA 仍在继续克服现实世界中神经成像和自然环境中人类表现建模所面临的各种挑战，这些挑战可用于促进广泛的神经技术。在这些努力中，有些工具和概念已过渡到 CTA 内外的学术、政府和行业合作伙伴。以下是一些例子：

• CTA 合作伙伴开发了新颖的机器学习 (ML) 方法，以前所未有的方式探索和利用神经生理学数据。CTA 合作伙伴展示了人工智能的概念验证，该人工智能利用在多个不同数据集合中训练的分类模型，在非结构化环境中检测任务相关物体的感知，而无需特定用户校准。

• CTA 合作伙伴已将干电极脑电图 (EEG) 的创新解决方案原型提供给 ARL、其他学术实验室和行业。ARL 已对无线干电极系统进行了测试，并将其集成到多个应用研究项目的仪器中。此外，一些商业干电极脑电图产品也利用了这项研究，并被多个教育机构采用。这些机构包括加州大学圣地亚哥分校、马来西亚大学、英属哥伦比亚大学和韩国科学技术院。此外，一些干电极产品和评估方法已过渡到大型和小型行业利益相关者的实验室，如日产汽车公司（日本）、NeuroRex 公司（美国）、Alchemy 公司（台湾）、Neurocare 公司（新加坡）、Google X 公司（美国）和英特尔公司（美国）。

• 实验室流层（LSL）是一种多视角数据采集（DAQ）和同步软件骨干，目前正被神经行为系统公司采用，以集成到商业刺激演示工具 Presentation 中。此外，LSL 已成为 ARL 多个项目的关键集成和同步技术，包括下一代战车和士兵致命性跨职能团队支持的大规模研究工作。重要的是，全球越来越多的学术和工业实验室正在使用 LSL，以创建一个统一的人类传感生态系统。

• CTA 合作伙伴还开发了一系列其他软件工具，用于对大脑功能进行无创调查（使用脑电图和其他模式）。其中许多工具被纳入更大的工具套件，如 BCILAB（即脑机接口 [BCI] 平台）和 EEGLAB。

• CaN CTA 还在政府实验室内外寻求技术转让和集成目标。特别是，我们开展了转化研究，以实现未来汽车环境中人类自主集成的进步。我们通过在真实道路上对真实汽车进行调查，同时增加真实世界的社会效应，推进了我们的驾驶研究。与此同时，我们还与一个应用研究项目进行了协调，该项目正在调查驾驶员与现代驾驶辅助技术互动时的大脑过程。

• CaN CTA 的努力促成了一项新的应用研究计划，该计划将利用上述几项技术，完善并验证一个新概念，即通过对多人视觉感知相关信号的机会性感应，提高骑兵和下车士兵的战术态势感知能力。除其他计算技术外，该计划还利用在先前数据集上训练的深度学习方法来实现免校准操作，以协同改进计算机视觉算法（给定人类标记数据）。这项技术的目标是在不增加士兵认知负担的情况下，通过人与自主系统的无缝集成来提高部队效率。

1.3 愿景

认知神经科学的最新进展极大地促进了我们对大脑功能如何影响行为表现的了解。然而，迄今为止，包括认知神经科学在内的绝大多数人类科学研究工作所采用的方法论和分析方法都存在固有的局限性。CaN CTA指出的技术障碍概括了这些局限性，这些局限性导致人们只能了解人脑如何在高度受控的实验室环境中执行高度受限的任务。反过来，这也意味着以往的系统开发方式和技术进步方法无法充分考虑士兵操作员的神经认知能力和局限性。

技术障碍：

• 实验设计仅限于高度受控和贫乏的刺激-反应范式和环境。

• 缺乏便携的、用户可接受的、微创的、强大的大脑和身体动态监测系统。

• 未能足够详细地记录大脑控制的整个行为，以及影响大脑功能的环境的物理和社会文化影响。

• 缺乏数学建模方法和软件，无法找到环境、行为和大脑功能瞬间变化之间的统计关系。

• 缺乏足够的数据档案和资源，无法系统地研究认知监测所得出的个性化模型与不同任务中个体差异之间的关系。

• 缺乏利用生理信号的实时测量来影响操作者认知状态或为适应性技术提供信息的原则和方法，从而在不同时间和不同个体之间提高人类系统的性能。

娴熟的认知和传感运动性能是有效利用先进技术能力执行任务的基础，这种性能显然是在神经系统层面上组织起来的。特别是，传感器部署、自动化和通信带宽方面的技术进步将强化对士兵的信息处理要求。任务的成功与否将取决于士兵能否很好地认识到所积累的信息对正在发生的事件的重要意义，以及他们能否将相关信息整合到能够支持有效决策和行动的态势感知中。相反，面对日益复杂的信息流，士兵在理解和决策方面的认知障碍将成为有效利用先进战场技术的关键瓶颈。随着士兵在战场上与适应性更强的 "智能 "系统互动，这些挑战只会愈演愈烈。

因此，CaN CTA 的科学愿景认为，要满足士兵的关键需求，陆军神经科学工作必须能够提供并利用对人脑在真实世界作战环境中面对真实任务时如何运作的清晰工作理解。这一愿景源于生态心理学的既定理论基础以及具身或情景认知的概念，这些概念认为，在脱离个人背景的人工场景中，要理解自然的、有动机的行为实际上是不可能的。

为了实现这一愿景，我们需要新的神经科学探究方法和新的能力，以便在操作相关的环境中开展神经科学研究。CaN CTA 通过以下方式直接解决这六大技术障碍：

• 开发实验范式，捕捉真实世界环境中经历的多感官刺激流的展开性质

• 开发和使用新型可穿戴传感器套件，用于监测自然行为期间的大脑和身体动态，以及用于实现综合监测能力的软件系统

• 获取和处理高维数据集，这些数据集能足够详细地描述各种情况下的身体、心理和生理行为及其环境背景

• 发现模型和新方法，用于识别和解释高维数据集之间的统计关系，这些数据集描述了复杂任务执行过程中环境、行为和大脑功能的动态变化。

• 获取和分析来自大量参与者样本的数据，以确定个体间和个体内的差异，从而系统地研究为认知监测而推导的个性化模型与绩效、认知能力和个性方面的个体差异之间的关系。

• 概念框架和功能架构，可获取和解释多视角数据，以便实时集成到人机系统中

自这一方法推出以来所取得的成功反过来又促成了神经科学在将基础研究转化为军事相关领域方面取得进展所依据的原则的确立，即确立和阐明基本的转化原则。这些原则指导了技术解决方案的开发，这些解决方案与人类神经系统在其动态、复杂环境中的能力和局限性相协调。

1.4 走向愿景之旅

自计划开始以来，CaN CTA 始终牢记上述愿景，并努力降低障碍。在计划实施过程中，CaN CTA 通过以下方式降低了障碍：

• 先进计算方法的独特发展，以提取现实世界行为的神经信号相关性，以及由此产生的一套促进研究和应用的多样化软件工具
• 在各种现实模拟或真实世界环境中，对受到最小限制或不受限制的受试者进行前所未有的多模态数据收集
• 脑电图非侵入式和移动式传感器的进步，以及促进传感器性能评估方法的开发
• 制定和测试概念，利用上述所有功能增强士兵系统的能力

在整个计划期间，这些成就可以看作是在前一阶段基础上开展的一系列研究阶段。在此，我们重点介绍计划的这些阶段。

计划第 1 年：CTA 致力于制定合作计划愿景和研究项目，为许多研究想法播下种子，并为未来几年更雄心勃勃的探索奠定基础。在这一阶段，计划确定了之前阐明的愿景和科学障碍。如图 1.2 所示，研究分为三类：神经认知性能、先进计算方法和神经技术。在逼真和逐渐复杂的环境中进行无创神经成像，并配合先进的计算方法来探索数据，是研究的基本主题。

计划第 2 年：重新评估和调整研究计划和进度，以提高效率，实现更有效的过渡。此外，CTA 开始详细制定计划，在限制较少的实验范例中开展全 CTA 范围内的合作神经生理学数据收集工作。为使实验环境更加逼真，满足军队环境的需要，一些实验被设计成代表安装（车内）环境，而另一些实验则设计成代表下装、行走环境。与此同时，在整个 CTA 中继续开展需要较少方法准备的小型实验和分析。

计划第 3 年：计算方法的研究凝聚成可供社区使用的工具，整个 CTA 神经生理学数据收集的实验装置也已投入使用（图 1.3）。CTA 开发了多受试者和单受试者车辆操作人员站，每个站都有多模态数据收集（包括高通道脑电图）和运动模拟。此外，CTA 还采用了单受试者流动仪器，用于在实验室和户外收集数据。此外，CTA 还继续完善数据的收集、组织和管理方法，以及促进探索大量、多样的多模态神经生理学数据的方法。

计划第 4 年：独特的实验系统和数据收集工具在多个 CTA 站点投入使用，以收集真实或现实环境中的多模态数据（见图 1.3）。与此同时，在计算方法、真实世界传感器和采集方法方面继续取得进展，以促进对数据的探索。

计划第 5-6 年：为了更直接地实现过渡目标，对前四年为推进整体感知和探索真实世界脑体数据而进行的累积研究进行了重新聚焦。特别是，如图 1.4 所示，对研究进行了重组，以弥补在实现更强大的脑机交互技术 (BCIT) 方面的差距。随着剩余的大规模数据收集工作的完成，该计划将其项目重新调整为三个新的科学领域：高级计算方法（ACA）、脑机交互技术（BCIT）和真实世界神经成像（RWN）。随着越来越多的多模态、真实行为神经生理学数据可用，组织、管理、探索和利用数据集的方法得到了更多的重视。因此，ACA 领域依然存在，但与其他两个科学领域的联系更加直接。此外，考虑到重要的研究工作从开始到结束至少需要两年的时间，计划规划周期被延长为两年一周期，一些重要的项目被规划为三年执行一次。

三个新科学领域背后的驱动问题如下：

• ACA： 解码、跟踪和融合神经和非神经信息源以推断状态的最佳方式是什么？

• RWN：在实验室的限制之外，大脑在现实世界中是如何运作的？

• BCI：我们如何利用神经信号改善人类与计算机、自主代理、环境甚至其他人的交互？

反过来，这三个领域又通过一个总体目标相互关联：

• 对复杂任务和真实世界环境中的认知状态进行持续、稳健的估计

计划第 7-8 年：这一阶段的重点是稳健型 BCIT（图 1.5）。这项工作在闭环 BCI 系统方面取得了可喜的研究成果，为利用实时神经活动优化人机系统联合性能奠定了基础。与此同时，随着合作者们继续处理大量不同的 RWN 数据（主要包括脑电图和其他表面传感器数据），标记和预处理的方法也得到了标准化，从而为更广泛的研究社区带来了益处。

计划第 9-10 年：联盟将研究重点放在真实世界实验（如高速公路驾驶）上，同时使早期的神经成像数据探索和利用方法达到真实世界应用所需的成熟度。特别是，在被动闭环技术背景下，对解读多模态人体神经和生理数据的 ML 方法进行了改进和测试，以提高士兵的态势感知能力（上马或下马）和操作安全性（图 1.6）。此外，DAQ 和同步中间件 LSL 获得了工业界和学术界的广泛认可，并被整合到陆军的应用和高级研究项目中，以调查未来行动中的有人-无人编队协作情况。