《军事大数据情报技术研究：实时战场数据分析云、高效隐私保护边缘计算框架、不确定性影响检测、多任务学习框架、大数据可视化》270页报告

该项目的研究目标是放大预测数据分析的力量，并开发一个全面、集成和可扩展的数据分析与推理基础设施。军事大数据情报研究与教育卓越中心（CREDIT）的使命是加快科学和工程预测分析的研究和教育，以改变有效处理和解决大数据带来的许多复杂问题的能力，特别是在军事应用方面。

2015年4月，美国国防部负责研究与工程的副部长办公室（OUSD(R&E)）出资500万美元，并于2020年追加100万美元，在普拉里维尤农工大学成立了军事大数据情报研究与教育卓越中心（CREDIT）。CREDIT 中心的使命是加速科学和工程预测分析的研究和教育，以改变有效应对和解决大数据带来的许多复杂问题的能力，并将学生培养成下一代数据科学家和工程师。

CREDIT 中心拥有一支多学科团队，成员包括电子与计算机工程系和计算机科学系的教师研究人员、研究科学家和博士后，以及普拉里维尤农工大学（Prairie View A&M University，HBCU）的许多研究生和本科生研究助理。核心设施已经建成，包括深度学习实验室和云计算实验室。CREDIT 中心的团队和计算资源使团队能够解决大数据分析和人工智能方面的许多挑战性问题，并且 CREDIT 中心正在引领 PVAMU 大数据科学和深度学习方面的课程开发。CREDIT 中心与许多学术机构、政府机构和行业合作伙伴积极合作，共同应对大数据分析方面的挑战，并为未来以数据为中心的经济培养人才。它在推动 PVAMU 成为 R2 方面发挥了重要作用： 博士大学--高研究活动机构。

在本项目资助期间，普拉利维亚农工大学 CREDIT 中心团队与石溪大学和内华达大学里诺分校的合作者完成了所有建议的研究、教育和推广活动。取得了重要的研究成果。具体而言，(i) 发表了45篇期刊论文和2本著作，(ii) 发表和提交了104篇同行评审会议论文（包括两篇最佳论文奖），(iii) 提交了3篇期刊论文并正在审查之中。出版物的详细清单见附录 A。

技术成果

如今，军事情报分析人员面临着处理来自多个来源的海量复杂数据的艰巨任务，而且任务量还在不断增加。其中包括传感器数据、移动社交网络数据、监视数据（如无人机或卫星拍摄的图像和视频）以及公共领域数据。图 1 给出了一个示例场景。必须对这些数据进行汇总、评估、关联，并最终用于支持指挥官的关键决策和行动。然而，目前缺乏处理军事行动中来自异构来源的海量数据的能力[1, 2]。目前存在许多挑战，例如：（1）需要设计和优化用于军事大数据的实时计算平台，因为海量数据分布在不同地点；（2）必须在敌对环境中聚合异构数据并妥善存储；（3）需要以最小的延迟完成分布式态势感知和决策制定；（4）必须呈现海量数据集和复杂结果，以便分析人员轻松感知。

CREDIT 中心旨在应对这些基本挑战，并为美国国防部的关键任务应用提供传感、感知和决策支持。具体而言，提出并开发了一种集成计算、通信和信息融合的方法。目前已经开展了四项研究： (1) 实时军事大数据云计算系统的系统架构设计；(2) 利用边缘计算和计算卸载实现安全、稳健的数据收集和聚合；(3) 新型机器学习和深度学习算法，用于使用高维数据集进行自动检测，以及在标记数据有限的情况下进行半监督学习；(4) 在云上实时实现海量数据集的可视化，并通过实验验证研究成果。它们共同提供了对动态环境中感兴趣的对象和事件之间关系的研究，并利用特定功能流程或应用中的数据来实现可操作的特定背景洞察力。所提出的设计和方法已通过大量模拟和实验进行了验证，并以无人驾驶飞行器进行物体检测和跟踪为案例进行了研究。

图 1：用于近实时检测和决策的协作式信息汇总和处理概念

图 2：拟议研究重点之间的协同作用

如图 1 所示，当海量数据流进入军事云时，云需要动态分配足够的资源来存储和处理数据。为了满足实时性要求，需要探索如何在云基础设施上更好地分配数据和任务，如何实现弹性计算以满足动态计算工作负载，以及如何有效利用额外的加速器来加速节点内的任务（研究重点 1）。

鉴于战场环境瞬息万变，需要可靠地收集数据，并以分散和多层次的方式进行分析。例如，士兵 B3 在与 D2 通信时受到干扰，可以使用认知无线电切换信道，并通过 C2 报告数据。因此，必须利用认知无线电传感器网络进行稳健的数据汇总（研究重点 2）。

收集到的大量数据可能是多余或无用的，需要在早期阶段过滤掉，而一些有用的数据可能会丢失或缺失，需要从附近的其他设备获取或收集。例如，可以在坦克 A1、A2 和无人机 C1 之间使用信念传播来处理各自收集到的数据，然后当 D1 转发来自 A1、A2 和 C1 的更新信念时，可以使用军事云中的最快检测速度以最小延迟执行敌方目标检测。这种建议的方法利用了数据的时空相关性，有效减轻了数据缺失或错误的影响（研究重点 3）。此外，还建议在研究重点 4 中开展战场特定可视化研究，以直观地实时呈现大量复杂信息。理论结果已通过大量模拟和试验台实验得到验证。各研究方向之间的协同作用如图 2 所示。从信息拥有的角度来看，来自不同来源的各类数据将以安全、稳健的方式汇聚到云计算系统中进行实时处理。将应用机器学习技术，以最小的延迟和较低的误报率进行检测。然后，在交互式可视化工具的帮助下做出适当的决策。它们共同提供对关键信息需求的实时响应、准确的知识提取和风险意识决策。因此，拟议架构中各研究方向之间的协作满足了军事行动中有效和高效的信息共享和决策制定需求。

技术贡献要点概述如下：

在研究重点 1 中，为 CREDIT 研究建立了一个定制的特定领域大数据分析云。提出了将最先进的高性能计算技术集成到大数据分析中以提高性能和规模的概念。它已在 Apache Spark 上的分布式体积数据分析工具包中实施和测试。

图 3：实时战场数据分析云

在研究重点 2 中，提出并实施了一个高效的隐私保护智能边缘计算框架。为了实现稳健的数据收集和聚合，提出了计算卸载，以共同优化通信和计算。然后将多任务学习方法应用于计算卸载优化，在实现更高精度的同时将推理时间缩短了 4 个数量级。

图 15：为边缘计算系统图像分类提出的高效隐私保护框架。

在研究重点 3 中，探索了使用 Dempster-Shafer 理论（DST）和 Dezert-Smarandache 理论（DSmT）进行大数据处理的可行性，并提出和研究了使用证据理论（DST - DSmT）和 KullbackLeibler（KL）发散进行距离测量以减轻不确定性影响的检测框架。在标注数据有限的情况下，即使使用非常有限的标注数据，所提出的半监督学习也能获得很高的推理精度，这对于实时机器学习应用来说是一个很有前景的解决方案。

图 24：拟议的多数据源 DST 和 DSmT 决策平台

在研究重点 4 中，设计并测试了一种基于多任务学习的新型深度学习模型，用于无人机上的目标识别和目标跟踪。在实际实验中，该模型实现了实时处理（> 20 fps）和高 IoU（> 60%）。

此外，还构建了基于云的大数据可视化系统，并在云上实现了实时数据可视化。本报告第 2-4 章详细介绍了研究背景、文献综述、问题提出、方法建议以及实验和结果分析。

图 20：拟议 MTFNN 模型的多任务学习框架

CREDIT 中心

CREDIT 中心与美国国防部的项目管理人员和研究人员保持着密切的合作关系，并为美国国防部和国家的劳动力发展做出了巨大贡献。大量研究生和本科生积极参与了 CREDIT 中心的研究活动，10 名博士生、34 名硕士生和 100 多名本科生在 CREDIT 中心的支持下毕业。所有毕业的学生都在政府机构和私营企业找到了很好的工作，如 AFRL、NAVSEA、IBM、Intel、Microsoft、Apple、Amazon、HPE 和 Dell。在 CREDIT 中心从事研究的所有学生都在人工智能、机器学习和大数据分析方面获得了深厚的知识和广泛的培训。他们在高质量的期刊上发表了重要的研究成果，并在解决极具挑战性的现实问题方面表现出了卓越的能力。例如，CREDIT团队包括六名研究生助理，在首席研究员（钱）和共同首席研究员（奥比蒙）的指导下，参加了2020年秋季由美国海军组织的海上人工智能挑战赛（AI Tracks at Sea Challenge）。CREDIT 团队从包括全国顶尖研究型大学在内的 31 所参赛大学中脱颖而出，荣获第一名。除了学生成为美国国防部的全职雇员外，还有二十多名预备役学生在 CREDIT 中心接受了数据分析技能培训。此外，CREDIT 中心的许多学生还参加了美国国防部提供的暑期实习生计划。

随着 CREDIT 中心的成立，研究基础设施也得到了极大的改善。具体来说，深度学习实验室配备了 4 台英伟达 DGX-1 系统，共有 32 个 P100 GPU，超过 112,000 个 CUDA 内核，以及 4 台 120TB 的戴尔存储服务器。云计算实验室拥有一个高性能计算机集群，由 4 个机架组成，包括 56 个 IBM 双核刀片服务器、8 个惠普 16 核节点、24 个带 GPU 的 IBM 16 核节点，以及用于建立云虚拟机农场的 4 个戴尔节点。这些高性能计算设施为教师和学生提供了宝贵的机会，使他们能够使用最先进的设备探索前沿技术。

CREDIT 中心一直领导着 PVAMU 的课程开发，以确保学生得到充分的指导和培训，并确保中心和 PVAMU 始终走在人工智能和大数据教育的前沿。具体而言，德克萨斯农工大学系统和德克萨斯州高等教育协调委员会（THECB）已经开发并批准了人工智能深度学习证书课程。第一批14名学生刚刚于 2021 年获得该证书。CREDIT 中心还开展了许多外联活动，如组织年度关键任务大数据分析研讨会、系列研讨会和 CREDIT 中心高中生夏令营。

凭借 CREDIT 中心的研究和教育能力，最近在积极研究的基础上又获得了许多新的资助，使中心得以持续发展。在政府机构（尤其是美国国防部）以及学术和工业合作伙伴的大力支持下，团队认为 CREDIT 中心将进一步提高其研究和教育能力，并继续培养学生成为高素质的劳动力，在未来为美国国防部的任务做出支撑。