数据共享和互操作性的增加给美国防部(DoD)系统维持一定程度的信任和信心带来了挑战。随着紧密耦合的、独特的、静态的、经过严格验证的任务处理方案被新的、更动态和复杂的对应方案所补充,任务的有效性受到了影响。一方面,新的更深入的处理方法与更多样化的数据输入可以提供复原力,防止在快速变化的条件下做出过于自信的决定。另一方面,达成决策的多种多样的方法可能会有明显的冲突,降低决策的置信度。这有时表现为向高层决策者提供同时的、不同的信息。在一些重要的特定情况下,这导致作战人员在确定最佳行动方案时效率降低。
在本文中,我们将描述一种更有效地利用新数据源和处理方案的方法,而不需要重新设计每个算法或系统本身。我们通过用企业级区块链框架对处理链进行检测来实现这一目标。一旦进行检测,我们就可以通过使用智能合约跟踪数据出处来收集、验证和确认数据处理链,将动态计算的元数据添加到不可改变的分布式账本中。这种在数据共享环境中进行核查和验证的非侵入性方法有能力在更大的范围内提高决策信任度,而不是人工方法,如咨询个别开发者主题专家以了解系统行为。
在本文中,我们将介绍对以下问题的研究:
图1:信息处理层次。
2.在业务处理链中验证数据出处、完整性和有效性的好处
3.我们的区块链技术框架与分析技术相结合,利用核查和验证能力,可以部署到现有的国防部(DoD)数据处理系统中,而且性能和业务干扰不大。
首先描述了数据、信息和知识的含义,并提供了我们对决策支持的定义。在描述一个系统的优势时,数据、信息和知识经常被交替使用,但每一个都代表了一个不同的背景和处理水平。数据是最低的形式,代表了几乎没有过滤的分析元素,如从传感器焦平面处理的信号检测。数据被用来推导信息,通过增加背景,如目标类型。知识是指在更广泛的态势感知或决策中意味着什么的信息,例如在一个场景中检测到的目标行为类型标志着危险。
作为一个例子,已经有一些工作将 "数据整合 "推向了前进的方向,并展示了态势感知的操作能力。这些工作说明了从各种来源的数据,到通过各种软件应用的信息,再到呈现给操作者或用户的知识转换(图2)。通过应用处理层来创建一个增强的态势感知图,它使高级领导人能够更自信地采取行动和做出决定。这些处理层包括从简单的可视化数据摄取到分类服务以提供任务事件的背景。所有这些都为决策支持提供了不同程度的信息。
图2:数据驱动的决策支持系统的一个例子。
我们描述的系统的最终目标是为高层决策提供信息。这可能需要许多处理步骤,每一个步骤都代表着增加背景。这也意味着有许多细微的处理路径,通过这些路径可以得出知识。当你考虑到可能需要回应的时间框架时,当系统中存在更多的数据、算法和知识服务时,理解处理的细微差别就会变得成倍的困难。这就是我们试图减轻的风险。
接下来,我们将介绍数据共享和互操作性环境,这些环境的建立是为了实现大规模系统的快速决策支持。这样一个环境有四个功能要求。(1)创新理念实施的低门槛,(2)大型开放的开发环境,(3)支持集成的消息传递方法,以及(4)对采用的组件进行自动验证和核实。图3显示了这四项要求的周期,并以蓝色强调了验证和确认要求,该要求目前正在系统范围内研究,是本文的重点。
图3:系统进化所需的关键属性。
虽然个别开发者可能被要求满足基本的期望,以诚信行事,例如遵守他们的数据和应用合约,以及使用软件安全扫描,但没有有效的方式来评估决策支持的效用和在整个系统中组装数据和服务的真实性。许多大规模的系统在开发初期没有优先考虑网络安全或数据完整性。传统上,在大型软件发布之前,在组件被大规模集成之后,会进行端到端的验证和确认测试。随后,对增量软件升级进行较小规模的回归测试。测试完成后,系统在技术上就可以投入运行了。然而,由于应用程序及其数据源的规模和动态性质,松散耦合的现代软件处理系统的性能风险会增加。在许多情况下,这些系统中的数据是由遥感测量源提供的。在这种情况下,对数据的完整性进行实时的系统级验证和对衍生的数据产品进行验证是非常重要的,以发现性能的潜在重大变化和呈现给操作员的错误信息。我们讨论的这种实时核查和验证方法需要记录数据来源、历史数据质量以及数据在系统中穿越的所有路径,以确保发现性能问题。
在这种情况下,定义核查和验证的一般含义是很重要的。
验证是对产品、服务或系统是否符合法规、要求、规范或强制条件的评价(PMI,2013)。换句话说,验证方法建立了真实性。
验证是保证产品、服务或系统满足客户和其他确定的利益相关者的需求,包括适合性和信心(PMI,2013)。换句话说,验证方法建立了一些间接的可用性。
如上定义,验证和确认提供了以下内容:
图4提供了上述定义的验证和确认可衡量的子组件清单。我们建议使用区块链方法来实现这些指标的实时评估,这些指标已经在一个实时系统上得到了证明(MIT Lincoln Laboratory,2019)。
图4:提议的系统验证和确认的指标。
区块链方法通过提供一种有机的方法来解决验证问题,用于存储数据、处理出处和证明同步,同时提供系统的弹性和增加最小的延迟。图5显示了我们如何利用典型数据处理链的有向无环性质来覆盖加密安全并实现区块链。这种数据结构与传统的区块链应用是直接匹配的。在源层(S)和应用层(A)的每一步都有轻量级的加密安全,用户(U)可以验证正在呈现的数据。这种架构提供了以下方法:配置管理(每个软件更新都有一个独特的安全标签),错误取证(通过处理的每个路径都有一个独特的ID),并防止某些类型的恶意攻击(每个独特的ID都登记在一个用户可以使用的账本上)。
图5:使用区块链叠加的系统验证。
我们实现数据验证的方法涉及将数据特征分析添加到区块链基础设施中,并与处理链相耦合。预编译的数据特征统计和人工智能技术可以被纳入,以提供验证指标(例如,校准的性能分布)。这些指标将被实时计算,并与预编译的特征进行比较以进行验证。图6说明了这个概念。
图6:使用机器学习方法进行系统验证