战场物联网 |《IoBT中的上下文感知协作神经符号推理》（译文）美陆军等

物联网技术必须具有协作性、上下文感知、多模态融合的特点，以便在对抗性环境中做出实时、有力的决策。将机器学习（ML）模型整合到IoBT中已经成功地解决了小规模的这些问题（如AiTR），但最先进的ML模型随着建模的时间和空间规模的增加而呈指数级增长，因此在解释大规模战术边缘数据时可能变得很脆弱，不值得信任。为了应对这一挑战，我们需要开发不确定性量化的神经符号ML的原则和方法，其中学习和推理利用了符号知识和推理，此外，还有多模态和多优势的传感器数据。该方法的特点是集成神经符号推理，其中符号背景被深度学习所利用，而深度学习模型为符号推理提供了原子概念（不能在分解的概念）。高层符号推理的纳入提高了训练期间的数据效率，并使推理更加稳健、可解释和资源高效。在本文中，我们确定了在IoBT中开发上下文感知协作式神经符号推理的关键挑战，并回顾了最近在解决这些差距方面的一些进展。

I 引言

在IoBT中部署人工智能（AI）和机器学习（ML）的一个核心挑战是缺乏在对抗环境中进行上下文感知（协作）多模态融合和强有力决策的原则性方法。在快速发展的高节奏和对抗性战场环境中运作的物联网技术，其获取、评估、汇总、状态估计和决策的规模和速度，需要在短时间尺度感知到高水平C3I决策支持的范围内使用人在环人工智能(AI)。但众所周知，AI/ML模型很容易受到对手的攻击，而且缺乏概括性--随着建模现象在时间和空间上的增加，这个问题的严重性也在增加。与商业应用不同，AI/ML在物联网技术中的失败会带来灾难性的后果。同时，可用于执行AI/ML模型的资源可能受到更大的限制。因此，在多模态融合的背景下（在IoBTs的MDO效应循环中），负责任、安全和道德地使用机器智能需要创新，以大幅提高效率，同时在结果中提供不确定性/置信度量化。这一挑战要求开发新的方法，以大大推进分布式物联网技术的资源效率和信心估计。我们认为神经符号学习和推理（结合符号推理和不确定性量化的深度学习）可以实现这一目的，并确定挑战，提出假设，并提出初步的指示性结果。

传统的机器学习通常依赖于来自传感器自下而上的推理，将每个观察作为独立不相关的输入，而我们的神经符号ML方法将自下而上的推理与神经符号环境的自上而下的预测交织在一起。自上而下的预测和自下而上的推断之间的不匹配所产生的任何效果都被用于自我监督的训练和持续的适应。这种神经符号方法得到了不确定性量化技术的帮助，以检测分布外（OOD）和新输入。使用上下文和精心校准不确定性量化的自上而下的推理促进了分布式推理，其中边缘传感器资源被查询以证实推理，而不需要连续的数据流。此外，对符号知识的利用极大地减少了所需的神经网络模型大小，同时允许模型推理在时间和/或空间上延伸到相当大范围的现象。因此，我们的混合神经符号机器学习方法特别适用于异构分布式IoBT节点，允许我们根据资源限制、数据模式和背景数据的可用性，从神经符号方法的频谱中选择符号推理和深度学习的适当组合。因此，神经符号机器学习可以提供战术边缘协调，以提高可扩展性、确证性和上下文感知的智能。

II 挑战和关键研究问题

在这一节中，我们确定了在IoBTs中开发上下文感知的协作式神经符号推理的主要挑战，并将这些挑战总结为两个核心研究问题。

• 研究问题1. 我们如何开发可扩展的语境感知神经符号学习和推理，以跨越符号推理与数据驱动的深度学习的组合范围，并为给定的资源有限的IoBT选择适当的组合？

物联网技术中的推理需要协作性的多模态融合，在这种情况下，传感器不是连续的数据流，而是在一个动态的、有争议的物联网网络上有一个依赖环境的数据共享。当测量的现象在空间和时间上被定位时，传统的机器智能技术已经成功地融合了数据并分享了洞察力（例如，辅助目标识别）。然而，这种模型的要求随着建模现象规模的增加而呈指数级增长，导致了大量的可扩展性问题。神经符号方法自然地在不同的抽象水平上表示知识，使符号表示能够对更大的和可解释的背景进行建模，可以与背景知识相融合，以允许在更长的空间和时间尺度上进行推理。因此，这些方法可用于上下文感知传感，并利用IoBTs中异质、多模态和多优势数据的灵活性。使用上下文和来自不同数据源和模式的预测的确证也使推理变得稳健。

虽然之前已经开发了具体的神经符号ML方法，但IoBT节点的异质性需要一个灵活的神经符号框架，可以跨越符号推理和数据驱动学习的不同层次的组合。在光谱的一端，我们可以考虑主要是使用规则对使用深度学习识别的实体进行符号推理，在另一端，我们可以考虑将逻辑规则编入深度学习的表现形式，要么是正则化损失函数，要么是可分化的DNN表现。为不同的推理任务和资源有限的IoBT节点选择适当的组合将有助于创建一个自适应的IoBT。

• 研究问题2. 我们如何创建并将神经符号ML模型整合到IoBT中，并保证其预测、对新环境的鲁棒性和对对抗性样本的复原力？

IoBT的战场环境和背景将迅速变化，因此，在IoBT中负责任地部署ML，就必须检测OOD和新的输入，并快速适应ML模型。除了缺乏稳健性之外，DNN也容易受到对抗性攻击。物理上可实现的攻击可以利用这一弱点，而没有网络攻击。对手会轻易利用战场上的任何漏洞；因此，IoBTs中的ML必须对对手的攻击具有弹性。使用正规方法和控制理论构建高安全性系统的传统方法不足以推理ML模型。这些缺陷为确保ML-enabled IoBTs的稳健性和弹性带来了独特的挑战。特别是，神经符号模型的推理并不遵循前馈神经网络中通常的非循环传播，这为不确定性量化带来了新的挑战。因此，有必要制定方法来分析神经符号模型的预测性能和稳健性。

提出以下两个假设，构成了我们解决上述研究问题的技术方法的基础。

• 受预测处理（PP，一种心智理论）的启发，一个多层的神经符号架构将使上下文感知的数据高效的稳健ML模型与符号推理和深度学习紧密结合，可以根据IoBT节点的资源限制以及特定任务和模式的需要进行定制。

• 健壮和有弹性的ML模型必须能够通过观察自己的推理模式来检测 "惊喜"，当受到新的或敌对的输入时。信息理论方法可以与计算轻量级的运行时监控器相结合，以检测这种意外，并产生对IoBT的鲁棒性和弹性的保证。

我们将在下文中详细阐述这两个假设。首先，PPinspired架构依赖于建立一个 "世界模型"，该模型捕获了背景（如时空关系），并使用这种背景来假设和确认对传感器数据的预测。我们使用世界模型的分层表示法，从神经模型（捕捉局部背景，但细节水平较高）到符号抽象模型（捕捉更广泛的背景，可能在空间和时间上延伸）。在异构的IoBT节点上运行的不同学习和推理任务和模式可以从不同程度的符号知识中受益。例如，跟踪车辆可以利用众所周知的物理模型，而检测特定类型的车辆可以依靠 "ispart-of "关系，如 "车轮是车辆的一部分 "或空间共现，如车辆与道路共现。这种将符号知识与深度学习融合在一起的正确层次的选择，也可以在具有不同计算能力的不同IoBT节点上实现资源效率的推断。

其次，将神经符号ML模型安全、可信地集成到IoBTs中，需要有方法来描述这些模型的泛化和鲁棒性，并建立运行时监测器，以检测环境何时在训练背景之外演变，模型是否不可信。我们假设，运行时监控器可以观察学习模型的推理模式，以检测对模型来说是令人惊讶的输入，与试图学习训练分布而不考虑模型的传统异常检测方法相比，这种监控器在检测OOD和对抗性输入方面更加有效。开发这样的监测器将需要健全和系统的生成，并结合统计学来衡量模型的惊喜。此外，在IoBT边缘节点上部署ML模型和这些运行时监控器需要这些模型在计算上是轻量级的。因此，生成快速评估的监测器对于使ML模型对新的和对抗性的输入更加稳健而不牺牲推理速度至关重要。

III 相关工作

文献中提出了大量的临时性神经符号方法。一个常见的方法是使用逻辑公式的可微分近似，比如CLIP系统[10]（20世纪90年代开发，是逻辑张量网络[24]的前身）、ILP[8]、DFOL[9]，以及我们之前的工作Neuroplex[30]。这种没有保证原始表征和可区分表征之间差距的近似可以通过直接的模糊逻辑式编译（如LTN[28]）或通过投影梯度/镜面下降（如程序归纳[6]）以及我们之前的工作[11]来创建。另一种产生于统计关系人工智能[18]的方法是将深度神经网络的分类输出作为概率和/或逻辑推理系统的原子谓词，如DeepProbLog[26]和我们之前的工作DeepProbCEP[22]。这些方法在神经和符号表征之间有浅层的整合，可扩展性有限，而且没有任何保证。

除了对保证的关注，我们认为在神经符号学习和推理中需要进行迭代训练和推理。大多数神经符号方法都处于逻辑符号模型与深度学习整合的两端之一。一端是DeepProbLog[26]和程序归纳[6]等技术，其中使用规则或程序的符号推理是分层在深度学习模型识别的实体之上的。在另一端，有一些方法，如LTN[28]和TNN[11]，将逻辑编译成深度学习表征（作为正则损失或差分DNN表征）。我们假设，理想的神经符号方法不会使用这种分层架构。相反，神经符号推理需要是双向的--基于学习的自下而上的推动是不确定性驱动的，基于推理的符号自上而下的拉动是决策驱动的。这允许一个更灵活的架构，神经层和符号层都能进行综合推理。这对保证和稳健性至关重要，因为它避免了符号层对神经推理的正确性的任何假设，或者反之亦然。

最近提出了几个基于分层预测处理（PP）的ML模型，包括我们自己之前在Trinity上的工作[1]、[14]、[16]、[23]，这是PP的第一个实际实现之一。最近这些实现PP或HPP的尝试[3], [12], [19]都不是神经符号化的，无法从符号化的知识或推理中受益。我们主张采用一种神经符号结构，通过平衡[2]支持信息的双向流动来进行训练和推理，而不是拼接单独训练的层。

IV 技术途径和初步成果

在有争议的环境中，如IoBTs，一个旨在持续学习、推理、理解和稳健推理的认知架构必须提供必要的目标导向的知识表示、推理和决策机制，以允许分布式推理，其中IoBT的边缘节点可以快速适应。IoBT节点在其资源限制和数据模式方面的异质性需要一种ML范式，它支持具有不同知识表示、目标结构和推理方法的灵活的认知架构。在这种考虑不同层次信息的需求的激励下，我们开发了TrinityAI[1]、[4]、[13]-[17]、[23]、[29]框架，用于可信的、有弹性的、可解释的人工智能。我们概述了这个框架和计划中的扩展，这些扩展将解决本文中确定的挑战，以开发一个上下文协作的神经符号学习和推理方法。

图 1. 神经符号TrinityAI架构概述

TrinityAI（图1）使用了一个类似于人类心理学中的双重处理理论[7]的架构（通常被称为系统-1和系统-2），其中系统-1是反射性的神经层，而系统-2是一个更加慎重的符号层。系统-1建立在一个生成性分布学习模型上（基于我们最近提出的主成分流[4]），从高维数据中学习中间特征的条件分布。系统-2是使用图神经网络[20]或ProbLog[5]--归纳逻辑[25]逻辑建模和概率编程的结合--实现的审议式符号AI。基于我们之前的工作[27]，我们为ProbLog定制了与事件微积分中的元素相对应的谓词，用于与感知和情况理解有关的推理任务。我们方法的一个关键技术部分是量化这种神经符号ML架构的不确定性的原则性方法。

另一个重要的挑战是探索反射层（系统1）和深思熟虑的长时标符号层（系统2）之间的相互作用应如何告知分布式IoBT系统中的数据通信。应对这一挑战将为战术边缘协调（在一个动态和有争议的网络上）提供算法和理论基础，以确定分享哪些数据，在什么抽象层次上，以及与哪些实体分享，以优化任务绩效。我们建立神经符号模型的方法可以被看作是 "综合分析 "的一个例子[31]，也就是说，我们提出假设（即候选世界模型），并倾向于那些预测与输入数据相匹配的假设。

在我们最近关于TrinityAI[23]的工作中，我们建立了这样一个神经符号模型。Trinity中的第一层目前使用一个特征密度模型（通过简单的统计模型如Mahalanobis距离或使用更具表现力的基于深度学习的分布模型如归一化流的扩展来实现[4]），学习输入、预测的类输出和模型提供的解释的联合分布。第二层使用符号模型，如图马尔可夫网络，学习物体之间的空间和时间关系，以完成物体检测任务。

在我们的初步结果中，这个架构显示出适合IoBT的几个特点。

1. 稳健性。第1层可以检测OOD、新的和对抗性的输入。例如，对于在CIFAR10和SVNH上训练的WideResNet模型作为OOD，我们的方法可以检测到86.8%的OOD，而最先进的是57.2%。OOD检测也被扩展到其他模式，如音频、时间序列数据和视频[17]（例如，图2中的漂移汽车，其中OD性是时间性的，而不是在单一帧中）。

图 2. 时间新颖性对应于时间序列数据中的新颖性，其中各个状态（例如视频帧）处于分布状态，但状态序列是OOD。

2. 上下文感知。第2层使此方法具有上下文感知能力，它还可以检测出脱离上下文的输入[1]，其中单个组件（如场景中的物体）并不新鲜，但它们出现在一个新颖的上下文中，甚至可能脱离基于上下文的ML模型。图3显示了一个物体检测问题的这种断章取义的输入的例子。

图3. 示例：脱离上下文的输入，其中对象分布不均匀，但它们以一种创建脱离上下文场景的方式组合，例如房间中的飞机或我们期望交通标志的键盘。TrinityAI[1]可以检测到此类异常。

3）数据效率。上下文感知的ML模型表现出更好的泛化能力，即使是小数据也能正确识别物体。我们使用NuScenes数据集与波士顿和新加坡的交通图像进行了评估。该数据集是不平衡的，只有不到1%的自行车的例子，其中一些是被遮挡的（见图2c）。对于50%和30%的遮挡，我们的方法将自行车的检测率从2.4%提高到31.4%，12.5%提高到66.6%，同时保持了95.5%的高总体准确率。

图4. 像自行车这样的类别在NuScenes数据集中的代表性不足。像IoBT这样的真实世界的应用往往会有不平衡的数据集

4）自适应通信、协调和协作决策。对于一个积极的、有弹性的、有通信效率的和有战斗力的IoBT，我们设想在传感器数据的通信、收集和用于决策方面有一个根本的转变。我们将研究在设计IoBT架构时使用预测性处理原则，而不是将所有传感器的观察结果流向处理节点。运行基于预测处理的机器学习模型的各个决策节点可以查询传感器，以提供确认其当前假设所需的信息，并在出现意外情况时，查询额外的传感器或其他学习模型，以提供进一步的观察和证据。这将减少IoBT中所需要的通信，并使其成为一个活跃的网络，建立世界的模型，并在需要时查询传感器以更新其模型并做出决定。因此，IoBTs中的传感和通信是由机器学习模型的不确定性量化指导的。

V 未来研究方向

在这一节中，我们确定了未来的研究方向，这些方向建立在我们的技术方法之上，并解决了在物联网中开发协作式上下文感知神经符号的强大机器学习和推理的研究挑战。我们将这些未来的方向归纳为三个方面。

• 将深度学习与更丰富的符号推理和推理框架相结合。在我们最近关于DeepProbCEP[27]的工作基础上，我们主张将我们的第二层符号模型从图形模型扩展到一个更丰富的逻辑推理框架。这对于通过纳入知识来提高IoBTs的数据效率至关重要。支持推理以推导出上下文，并实现对上下文敏感的适应，考虑到IoBT节点的资源限制，也是至关重要的。这也将超越最初产生的具有枢纽-辐条组织的两层符号-后神经神经符号架构，开发适合IoBT设置的更通用的神经符号架构。具体来说，利用神经符号架构搜索、跨神经和逻辑领域的转换以及逻辑模型的高效张量实现等方面的进展，这种整合将开发神经符号架构，在协作的IoBT边缘设备之间利用更丰富的信息流，以满足资源约束。最后，我们主张开发一些方法，通过将专家知识注入符号组件与基于迁移学习的神经组件的适应性相结合的方法，使神经符号架构能够快速微调，以适应新的IoBT部署的环境特征和战术、技术和程序。符号推理的这种整合将纳入背景知识和符号推理，以提高数据效率，并普及到枢纽型神经符号架构。它还能使神经符号框架适应需要进行推理的IoBT节点的资源限制。

• 神经符号模型的有原则的不确定性量化。以前的工作大多集中在确定有希望的测试统计量和相应的阈值，主要是受这些统计量取值的经验观察的激励。在我们最近的工作中[17]，[21]，我们试图用保形预测和多重测试的方法为这类方法提供误报检测的保证。继续这一研究方向，我们建议需要开发原则性的方法来组合测试统计量，以减少使用复杂模型学习分布时的计算负担，如归一化流量。需要关注神经符号模型中不确定性传播的方法，并进行迭代循环推理。特别是，我们可以在感知层使用预测集，满足对不确定性的明确的有限样本保证，这些预测集通过迭代与来自符号层的信息进行完善。神经符号学习中的不确定性量化是机器学习中一个具有挑战性和相对探索的领域，需要基础科学和基础研究的发展。

• 神经符号架构启发的算法和边缘协调的基础。在神经符号架构和人类心理学中所谓的系统1和系统2之间存在一个显著的类比，前者是指快速的本能处理，而后者是指更慎重的认知处理（通常在较慢的时间尺度上）。通常快速的直觉处理发生在有意识意识的阈值以下，而异常和不寻常的事件（除了引起局部的系统-1反应）则在更高的抽象水平上报告，以引起更慎重的缓慢的认知反应。这个类比为设计分布式IoBT系统中的神经（系统1）和认知/符号（系统2）组件以及协调它们之间的通信的策略提供了一个起点。在这样的架构中，一般情况下的处理被委托给本地组件，而不常见的事件则在更高的（符号）抽象水平上进行全局处理，从而在一般情况下将网络使用降到最低，并为分布式本地组件提供一些自主权。我们需要建立在异常/快速变化检测（检测自下而上的信息推送的条件）以及决策驱动的通信（产生象征性的自上而下的拉动）上。

虽然这里倡导的上下文感知协作神经符号推理方法是通过建立世界的神经符号模型，量化感知和风险意识决策中的不确定性来驱动的，但我们强调，我们的方法不需要任何明确的人工建立环境。复杂和快速发展的环境，如IoBTs，不能手动建模。相反，我们的方法依赖于维持一个连续的机器学习的环境模型。使用这种模型的神经符号表示法使得此方法：

• 可解释，这对物联网应用来说是必要的，因为物联网应用通常需要共生的人在环或人在环的决策。

• 数据效率高，因为在快速发展的环境中，可用于快速学习的监督量是稀少的，而且使用背景符号知识是至关重要的

• 稳健，因为众所周知，没有捕捉到完整上下文的纯神经表征对小的扰动是很脆弱的。

这种上下文感知的神经符号方法的发展需要一种验证方法，它可以用来推动这些不同方向的研究。这种验证可以使用模拟器的组合，如AirSim、CARLA和Gazebo。CARLA模拟器提供各种模式的数据，包括RGB/深度相机、LiDAR、雷达、IMU和GNSS。除了多模态模拟，我们还可以使用大量的多模态数据集，如在密歇根州记录了相机/激光雷达模态的福特AV数据集、由视觉、3D激光雷达和雷达模态组成的nuScenes数据集以及由视觉和热像仪组成的KAIST多光谱行人数据集。

VI 结论

有争议和冲突地区的复杂性和节奏，如战场，甚至网络空间，如计算机网络，都对快速和精确的信息传播提出了要求，并在指挥、控制、通信、计算机、网络、情报、监视和侦察（C5ISR）方面带来了独特挑战。虽然通过不同模式的大量传感器收集的大量传感数据是现成的，但正确和有力地解释和理解这些信息的时间却变得非常少。这就需要发展认知处理能力，将背景知识与从数据中学习相结合。

在战争中采用人工智能能力将使战场更加动态和快速发展，超出人类的理解和反应能力。ML模型对于促进对冲突的整体感知至关重要，它整合了来自不同异质传感器的信息，并确保及时的自主决策，以实施按意图指挥。这就要求ML模型对战场环境的变化和对手的扰动具有鲁棒性和弹性。我们应对这一挑战的神经符号方法侧重于IoBT的具体要求，即对自然和对抗性扰动的鲁棒性、数据稀少性、低监督性、解决训练分布中环境的快速变化，并确保符合交战规则和安全要求。