《军事场景中的视觉分析探索》2023最新124页技术报告

视觉分析是一门通过交互式视觉界面促进分析推理的科学。北约科技组织调查、研究并促进可视化分析方面的合作--促进知识提取和数据分析，以便及时理解态势并作出有效决策。因此，本报告目标是研究、开发和应用探索性视觉分析技术：1）利用和理解大量复杂的数据，即大数据；2）帮助隐性知识显性化；3）提供敏锐的态势感知；4）支持广泛的国防领域的知情决策，包括网络、海事、基因组学和社交媒体领域，以及仿真数据的后期分析和现场可视化。

报告简介

1 背景

信息优势是军事优势的关键因素之一；利用来自多个来源的所有相关信息是北约信息优势的一个关键因素。可视化和可视化分析研究对于满足2015年北约在信息分析（IA）和决策支持（DS）方面的重点目标的需求至关重要：关于决策支持的IA&DS-1和关于大数据和长数据处理与分析的IA&DS-2。

视觉分析（VA）是一门通过交互式视觉界面促进分析推理的科学[1]。VA有三个主要组成部分，即交互式可视化、分析性推理和计算性分析[2]。在专家组所考虑的VA背景下：

• 可视化关注的是使用数据的交互式视觉表现来放大认知[3]。
• 分析推理和计算分析的工作是支持数据探索、分析和理解。

2 目标

北约研究任务组（RTG）探索性视觉分析调查、研究和促进了知识提取/发现和数据分析方面的合作，以便及时了解情况，支持有效决策。该小组探索了可视化如何有效地传达信息：利用人类的感知和增强人类的认知，即把可视化和用户的心理模型结合起来（见第2章和[4]）。因此，目标是研究、开发和应用探索性视觉分析技术：1）利用和理解大量复杂的数据集，即大数据；2）帮助隐性知识显性化；3）提供敏锐的态势感知，以及4）支持广泛的不同国防领域的知情决策，如海事、社交媒体、基因组学和网络领域，以及模拟数据的后期分析和现场可视化。

3 本报告的目的

本技术报告的目的是讨论研究小组进行的研究、开发和应用探索性视觉分析的工作，这些数据集涉及到

• 简易爆炸装置资源（NATO C-IED COE）。
• 社交媒体；以及
• 网络和海事及情报行动。

这项工作证明了探索性视觉分析在检测、监测、分析和理解大型复杂数据集（即大数据）方面的有效性，以提高对态势的认识和决策支持。

本报告还将讨论该小组在以下方面的工作：

• 1）可视化和视觉分析技术的研究和开发。

• 2）提高对研究小组工作的认识。

  • 通过在著名的国际会议上发表论文，如IEEE VIS；以及

  • 为北约的两个系列讲座（IST-143和IST-170）作出贡献。

• 3）促进视觉分析和可视化技术在北约国防和安全领域及其他领域的开发和应用。

• 4）拓宽对可视化和可视化分析的理解和探索的视野。

• 5）利用新想法的产生。

• 6）通过以下方式发展北约小组间/组内合作。

  • 组织（并在其中介绍小组的工作）一次北约专家联合小组会议（IST-HFM-154：网络符号学）和一次北约小组间/组间研讨会（IST-178：大数据挑战--情况意识和决策支持）。

  • 参加其他国家组织的北约活动；以及

  • 与来自不同小组的许多RTG组织联合会议。

4 本报告结构

报告中的各章总结了在这个RTG过程中进行的工作。

第2章讨论了视觉分析的人因考虑。它首先定义了人为因素，并描述了人为因素/以用户为中心的设计过程。它讨论了一些关于设计过程的常见迷思，供设计者注意和避免。视觉分析系统的用户很多，也很多样化，所以了解任何项目的用户对于确保输出产品的有用性和可用性是最重要的。本章提供了关于如何最佳地显示信息的标准、指南、启发式方法和最佳实践的参考资料。本章还包括讨论和数字，描述了对特定数据集使用立体三维可视化的优势。最后，有一节是关于如何评估可视化的有用性和可用性。包括情况意识和工作负荷指标的资源。

第3章讨论了海事领域的信息可视化和视觉分析。

第4章和第5章关注社会媒体数据和模拟数据。

第6章讨论了可视化分析和深度学习之间的相互作用。

第7章讨论了网络态势感知和网络符号学。

第8章和第9章探讨了视觉分析和可视化在北约数据中的应用，如：

• 简易爆炸装置（NATO C-IED COE）；和
• 北约HFM-259数据。

这两章讨论了基于网络访问这些数据集的发展和由此产生的设计原则，这些数据集的用户范围很广，从普通公众到研究人员和政策制定者，即来自不同背景、具有不同专业水平和知识的人。对简易爆炸装置数据的分析采用了互动式讲故事的方法来吸引普通公众，而HFM-259数据的视觉分析/可视化也适合公众参与。

第10章得出了结论并提出了建议。

海事领域的信息可视化和视觉分析

• 船舶交通监测与探索性分析的交互式可视化：文献中提出的方法研究了海洋数据的可视化，以便交互式地探索它们的空间分布和时间演变，或者通过结合聚合和过滤能力促进它们的比较。以地图为基础的可视化占主导地位，偶尔也会以数据汇总的统计图为补充。最近，基于图形的海洋数据可视化也出现了。基于图形的可视化可以将汇总统计与交通动态的可视化相结合。

• 海事模式检测的可视化分析：视觉分析，将有效的海事数据可视化与数据分析相结合，有多种应用。文献中讨论的用途之一是运动模式搜索和匹配，与数据过滤相结合，能够减少数据泛滥，帮助用户关注相关的数据特征。这种方法根据经验来定义运动模式，例如使用基于函数的定义或规则。运动模式也可以从数据中提取，例如使用数据聚类、聚合和过滤技术。地理特征被利用来支持模式的定义和可视化。不同的聚合技术可以被结合起来，有时还可以使用语义学，以支持数据探索。其他工作专门解决异常或不一致的模式检测。例如，密切接触的检测或预测被应用于海上安全，用于船舶碰撞的识别和预防。

• 海事模式和移动性的三维可视化：很少有作品在海洋领域利用三维可视化，因为由此产生的可视化的复杂性增加，会对用户体验产生负面影响。领域无关的三维可视化被用来支持单一船只动力学参数的比较。时空立方体可视化对海洋事件的分析是有效的，因为它使空间和时间特征的当代可视化。在培训中使用的沉浸式虚拟现实模型，可能比二维地图更有效地支持用户（和船只）的定向行动。

探索性媒体分析

网络媒体是影响舆论以及反映舆论的最重要工具之一。这份报告分析了BBC、RussiaToday、DayKiev和delfi.lt（立陶宛的主要新闻门户网站）对乌克兰冲突动态的反映。采用了两种不同的分析方法：共同发生网络分析来反映冲突期间四个不同媒体渠道的语言变化，以及基于情感的故事情节（syuzhet）分析来监测BBC从2013年到2014年的情感变化。将冲突分为三个阶段：开始（2013/11/21-2014/01/15）、升级（2014/01/16-2014/02/17）和占领克里米亚（2014/02/18-2014/02/28）。这些方法可以对媒体中的冲突动态进行可视化分析。从人工智能（AI）、自然语言处理（NLP）和大数据的可视化技术的应用中，可以更好地了解对冲突动态的看法和公众对特定主题的情绪，以及信息分析的自动化。此外，其他类型的类似应用也是可能的。

仿真数据的可视化探索

仿真被广泛用作生产前测试系统的一种安全且通常具有成本效益的手段，并作为一种估计其他无法访问的系统的预期行为的方法。仿真的共同点是随着时间的推移而发生的事件链，导致由仿真算法决定的结果。本章将详细阐述使用可视化来分析仿真条件和结果，以及如何应用可视化分析（VA）来更好地理解高级仿真算法的内部生活。

有大量不同的工具用于仿真数据的可视化分析；然而，现有工具的适用性高度依赖于被分析的数据及其背景。通用的可视化软件包并不总是能够满足人们的需求。通用的可视化软件包并不总是容易被有效地用于特定领域的任务。如果没有资源花在定制软件上，最好的办法是将不同的软件组合成一个工具箱，共同满足可视化需求。有时，寻找合适的工具必须延伸到自己的领域之外。本报告介绍了适用于批量仿真数据分析的一系列工具：时间线图(TLG)、可视化工具箱（VTK）和ParaView、VisIt。

探索深度学习

视觉分析（VA）技术可以应用于增强与三个目标有关的深度学习方法：1）了解深度神经网络的内部运作；2）解释DL的结果；以及3）利用VA和DL之间的协同作用。

在VA和DL技术的交叉点上的应用如何能够更好地理解深度神经网络及其结果，并实现强大的应用。将VA与AI相结合的方法将成为未来国防和安全系统的关键驱动力，这些系统具有日益增长的任务复杂性所要求的高级处理能力，但人们不能盲目相信AI的预测而采取行动。

网络态势感知

网络SA与人类的认知过程和数据处理有关。在复杂和动态的网络环境中，通过敏锐的态势感知，人类决策的质量和速度可以大大提高。初步评估发现，以用户为中心的SA方法提供了分析、检测、发现和识别模式、异常、违规和威胁以及相关事件的有效方法。这些可视化适用于提供关于网络组件性能的详细信息。另一方面，生态接口设计（EID）方法提供了有效的可视化，以指导用户理解网络应该如何运行，以及这些网络实际如何运行;因此，分析人员可以很容易地看到网络的运行层面，即整体态势。这两种方法在提供有关网络情况的不同方面的认识和信息方面相辅相成。网络符号有可能实现网络态势的可视化，尽管目前还没有明确的方法或解决方案可以最好地实现这一点。

探索性视觉分析法分析简易爆炸装置事件

收集和分析有关事件的数据集可以帮助分析人员得出活动水平评估，进行趋势分析，并对他们所监测的问题有更深入的了解。为了更好地了解简易爆炸装置（IED）攻击的动态，并支持反简易爆炸装置（C-IED）的工作，本报告决定采用一种带有叙事元素的探索性视觉分析方法。分析有关事件的数据集可以帮助得出活动水平评估，进行趋势分析，并获得更好的情况意识。探索性视觉分析的目的是让用户探索数据集，发现有趣的模式和见解。一些可视化分析工具提供了复杂的互动，可能会让新用户感到恐惧。叙事技术可以帮助新用户开始使用一个新的交互式可视化应用程序，以了解数据集包含什么，以及如何利用探索性视觉分析工具的能力来对数据集进行新的分析。使用探索性视觉分析工具可以在北约反简易爆炸装置卓越中心（NATO C-IED COE）制作的乌克兰简易爆炸装置事件数据集中发现有趣的模式，通过应用叙事技术作为交互式可视化工具的一部分将这些见解传达给用户。一旦用户开始探索所提供的见解，他们会被邀请继续探索，允许他们从数据中获得更多发现。