《天基全球海事监视，第二部分：人工智能和数据融合技术》

海上监视（MS）旨在实时提供沿海地区和海洋的无缝广域业务图像。目前，有多种异构传感器和信息源可用于 MS，它们都有各自的优势和局限性，为将它们结合起来，已开展了大量的研究和工程工作。除了用于 MS 的最常见地面传感器（如自动识别系统 (AIS)、X 波段雷达和超视距 (OTH) 雷达）外，天基传感器技术还能在全球范围内，甚至在地球的偏远地区对海域和船舶交通进行持续监测。天基遥感技术包括星基自动识别系统（Sat-AIS）、合成孔径雷达（SAR）、多光谱（MSP）和高光谱（HSP）光学传感器以及全球导航卫星系统反射测量（GNSS-R）。用于地球观测的天基传感器可以在相对较短的延迟时间内收集全球偏远地区的大面积图像，因此与 MS 密切相关。

由于天基传感器技术的部署和普及，现在亟需先进的数据处理范式，如大数据分析、机器学习、人工智能（AI）和数据融合，以充分利用大量卫星图像数据集。特别是，开发结合多种传感器的 MS 系统需要专门的算法来处理原始卫星图像、检测和分类船只，以及融合来自异构传感器的信息。这些算法通过处理和组织日益增多的异构信息为 MS 提供支持。从中提取的数据和易于理解的信息将帮助政府和军事当局、海岸警卫队和警察等最终用户发现异常情况，以及石油泄漏、海盗和人口贩运等威胁，并及时采取行动，防止事故和不法行为的发生。在工作的第二部分，我们将介绍一些最新的人工智能和图像处理技术，用于图像分割、目标检测和分类，并提供卫星传感器获取的真实图像的可能用例。然后，我们将介绍最新的贝叶斯和统计融合技术，以便从卫星-AIS 历史数据库中提取知识（如最常见的海上航线），并通过融合多个异构传感器收集的信息来跟踪多个目标。其中，基于和积算法（SPA）的多目标跟踪（MTT）算法越来越受欢迎，这得益于其融合异构来源信息的能力、可扩展性（即在信息源、目标和测量值数量方面计算复杂度较低）以及包含上下文信息（如从卫星图像中提取的海上航线和船舶等级信息）的能力。此外，还提供了一个使用案例，证实了基于 SPA 的 MTT 算法在与卫星传感器获取的信息相结合时的优势。

卫星传感器数据的高级人工智能技术

随着收集地球图像的天基传感器的激增，需要开发先进的人工智能和成像技术来提取船舶特征和身份，以提高监控能力。特别是，与许多其他科学领域类似，用于从卫星图像中检测和分割特定目标的深度神经网络（DNN）技术最近受到越来越多的关注。例如，先进的人工智能和 DNN 技术可以通过对船只进行检测、分割、分类和识别，通过估算船只尺寸和航向，以及通过提供地理坐标和时间戳，为任何卫星图像制作 "数字报告"。图 1 显示了两个卫星图像的例子，每个被探测到的船只都有一份数字报告。

图 1. 为每艘被探测到的船只提供数字报告的卫星图像示例。(上图）MSP 传感器：昴宿星团，区域：靠近 Khark 岛（伊朗），日期：2014 年 11 月 25 日。(下图）MSP 传感器：哨兵-2，区域：墨西拿海峡（意大利），日期：2014 年 11 月 25 日：墨西拿海峡（意大利），日期：2020 年 1 月 23 日。

图 2. 基于 U-Net 架构的卫星图像分割任务的一般工作流程示例，其中池化操作被上采样操作所取代。所选 DNN 架构经过训练，可使用预处理卫星图像的训练数据集执行像素分类（目标/非目标），这些图像已根据地面实况进行了人工分割（训练阶段）。在这一阶段，通过最小化适当的成本函数来优化 U-Net 模型参数。然后使用训练好的 U-Net 模型对测试卫星图像进行像素分类（测试阶段）。具体来说，测试卫星图像被分为 N 个子图像；对于每个子图像 i，U-Net 模型中的最终 Softmax 层会为每个像素分配一个分类分数。通过对重叠子图像中每个像素的得分进行平均，最终得到分割后的卫星图像。