基于图神经网络的高光谱图像分类研究进展

高光谱成像是遥感领域的一项先进技术，它能够收集和处理来自不同波段的电磁光谱信息，包括可见 光、近红外和红外波段. 由于高光谱成像技术能够检测到光谱信息的细微变化，因此，其在区分不同类型的地物方面 取得了不错的成果. 近年来，高光谱图像分类在城市规划和植被监测等应用中引起了许多研究者的关注，其主要目的 是将图像中的每个像素分类到一个有意义的类别中. 然而，高光谱图像数据量大、特征维数高的问题给像素的精确分 类带来了一定挑战. 如何有效提取高光谱图像的空谱特征已成为高光谱图像分类中最重要的问题之一.

在过去的几年里，深度学习技术依靠强大的特征提取能力，在高光谱图像分类中具有不错的表现 . 其中，基于图神经网络（Graph Neural Network，GNN）的方法凭借其处理不规则数据的出色能力，为高光谱图像分类提供了新的研究方向. 图神经网络是一种能够直接处理图结构数据的深度学习模型. 在图神经网络模型中，每个图节点表示一个样本， 每条边表示一对样本之间的关系. 图卷积操作通过在图节点之间传播信息，来学习图节点的表征，从而模型能够捕捉 到图节点之间的复杂关系，并实施诸如节点分类和链接预测的任务. 通过将高光谱图像转换为图结构，图神经网络能 够在卷积过程中提取图像的空谱特征. 其中，每个节点对应于一个像素或区域，像素或区域之间的关系被表示为边. 本文从图神经网络的构图方式、图卷积类型、模型架构和优化策略4个角度，梳理了当前基于图神经网络的高光谱图 像分类方法的研究内容和进展，并为该领域的技术研究提供了多层次的对比分析. 在基于图神经网络的高光谱图像分类方法中，图结构的构建是一项非常重要的任务. 目前，主要存在两种基于高 光谱数据的建图方法，即基于像素和基于区域的方法. 在基于像素的建图方法中，每个像素都被视为一个图节点，这 也是构建图结构最直接的方法. 其中，每对图节点之间的权重可以由网络预先计算或学习. 考虑到基于像素的建图方 法复杂度较高，研究者开发了基于区域的建图方法. 此类方法将图像的区域作为图节点，目前已被广泛应用于高光谱 图像分类方法中. 基于区域的建图方法可以有效减小图结构的尺寸，从而实现高效的图卷积运算. 此外，图卷积类型的选择也是基于图神经网络的高光谱图像分类中的一个重要问题. 当前的图卷积操作主要包含两种类型，即基于谱域的图卷积和基于空间域的图卷积. 基于谱域的图卷积从图信号处理的角度引入了滤波器，通 常具备较为坚实的数学基础，并且在高光谱图像分类中得到了较为广泛的使用. 与基于谱域的方法不同，基于空间域 的图卷积利用加权平均函数直接对每个图节点的邻居进行卷积. 因此，基于空间域的图卷积通常表现出更强的灵活 性和泛化能力. 同时，模型架构的选择在基于图神经网络的高光谱图像分类中同样关键. 目前主要存在两种类型的模型架构，即 单一型和混合型. 基于单一型架构的方法仅使用单一类型的深度模型（即图神经网络），早期的基于图神经网络的高 光谱图像分类方法大多采用这一架构. 然而，图神经网络模型本身存在一些固有的缺陷，这一定程度上限制了单一型 架构方法在高光谱图像分类任务中的表现. 为了缓解图神经网络模型的固有缺陷，进一步提高算法在高光谱图像分 类任务中的性能，研究者开始探索将图神经网络与其他深度模型相融合的混合型模型架构，从而能够利用不同子模型 来捕捉高光谱图像中多种类型的空谱特征. 模型优化策略的选择对于算法性能也有着显著的影响. 目前主要存在两种模型优化策略，即全批量梯度下降和 小批量梯度下降. 全批量梯度下降法会遍历所有样本计算一次损失函数，然后根据各个参数对应的梯度来更新模型 参数，这种优化策略通常用于基于谱域的图神经网络模型. 然而，由于每一次的参数更新都会涉及所有样本，因此全 批量梯度下降法的复杂度通常较高，尤其是像素或超像素数量较多时. 为了提高训练效率，研究者提出使用小批量梯 度下降进行模型优化. 其中，损失可以根据每个子图计算得到. 由于每个子图的规模比原始图结构小得多，因此小批 量梯度下降策略通常具有很高的效率. 尽管图神经网络模型已经在高光谱图像分类任务中取得了一定成果，但现有方法仍存在一些问题有待改进. 例 如自适应邻域构建，即邻域的大小和形状可以根据图像的不同区域变化. 现有的基于图神经网络的方法通常假设邻 域大小和形状是固定不变的，而这一假设对于图像的所有区域而言可能并非最优. 此外，另一个问题是可伸缩性和准 确性之间的权衡. 图神经网络在获得可伸缩性的同时，无可避免地会对原始数据的完整性造成损伤. 然而，保持数据 的完整性对模型学习是至关重要的. 因此，越来越多学者开始研究能够同时保证可扩展性和高分类精度的图神经网络方法. 同时，由于高光谱图像可能包含各种类型的噪声，因此噪声的处理亦是一个值得关注的问题. 大部分现有的 图神经网络方法对噪声不具有鲁棒性，这更加凸显了开发噪声鲁棒图神经网络方法的必要性. 总的来讲，由于基于图神经网络的方法能够有效提取高光谱图像中的空谱特征，其在高光谱图像分类领域展现了 巨大的潜能 . 本文从不同角度回顾并总结了当前基于图神经网络的高光谱图像分类方法，包括建图方式、图卷积类 型、模型架构和优化策略. 同时，还分析了高光谱图像分类所面临的挑战和图神经网络算法的特点，并探讨了未来潜 在的研究方向. 随着图神经网络方法的不断发展，高光谱图像分类有望在各个领域取得更高的精度和更广泛的应用.

https://www.ejournal.org.cn/CN/10.12263/DZXB.20221295

1　引言

高光谱成像是遥感领域中的一项重要技术 . 它能 够收集从可见光到近红外波长范围内的电磁光谱 . 针 对地表的同一区域，高光谱成像传感器通常可以采集 到数百个狭窄的光谱条带，从而获取感兴趣目标的理 化信息［1，2］ . 在高光谱图像中，每个像素可被看作一条 高维向量，向量的每个元素对应于特定波长上的光谱 反射率. 由于高光谱图像有助于区分细微的光谱差异， 其在众多领域都得到了广泛应用，例如环境科学、农 业、矿业等［3，4］ . 高光谱图像分类是高光谱遥感对地观测技术中的 一项重要内容，其目标是赋予图像像素唯一的地物类 别标识［5］ . 然而，由于高光谱图像的高维特性、波段间 的高相似性，以及混合像素的存在，高光谱图像分类始 终面临着较大的挑战 . 具体来讲，在高光谱图像中，光 谱波段范围广、数量多，且波段间的间距窄，直接处理 图像中海量的光谱信息会耗费巨大的计算量. 此外，图 像中相邻波段间的高相关性可能会带来严重的信息冗 余［6］ . 同时，高光谱图像中还存在异物同谱和同谱异物的现象，这会导致高光谱数据呈高度非线性. 一些基于 统计学的模式识别方法难以直接处理这类数据，一定 程度上增加了图像分类的难度［7］ . 不仅如此，由于高光 谱图像的空间分辨率相对较低，图像中不可避免地存 在部分混合像素（即一个像素中包含了多种地物类别 特征），这同样给高光谱图像的准确分类带来了一定困 扰［8~10］ . 最后，在有监督的高光谱图像分类中，由于像素 标注工作费时费力，有标记的训练样本数量通常较少， 这可能会影响分类器参数估计的准确性［11］ . 在各国学者的努力下，近几十年来涌现出了多种 类型的高光谱图像分类方法. 其中，早期的方法主要在 利用高光谱图像光谱信息的基础上，借助传统的模式 识别技术进行像素分类. 例如，K-近邻分类器凭借其理 论和操作的简易性被广泛用于高光谱图像分类［12，13］ ， 而支持向量机理论在高光谱图像分类任务上同样取得 了令人满意的效果［14~16］ . 此外，逻辑斯蒂回归［17，18］ 、基 于稀疏表示的分类器［19，20］ 、最大似然分类器［21］ 等方法 也被用于高光谱图像分类，并取得了不错的效果 . 然 而，对于地物特征分布较为复杂的高光谱图像，仅使用 光谱信息可能难以准确地辨别不同的地物类别［22］ . 研 究发现，高光谱图像中空间位置相邻的像素通常会带 有相关联的信息，因此许多研究者考虑将空间信息融 入高光谱图像分类方法中 . 此类方法通常被称为基于 空谱联合特征的高光谱图像分类方法［23~25］ . 例如，马尔 可夫随机场模型常被用于提取高光谱图像中的空间信 息，并已取得一定的成效［26］ . 除马尔可夫随机场外，研 究者还提出了基于形态学的方法，从而对高光谱图像 中的空间和光谱信息进行有效融合［27~29］ . 类似地，纹理 特征描述子、Gabor滤波等技术［30，31］ 亦被用来提取高光 谱图像中的空谱联合信息.

然而，上述方法大都需要手动提取空谱特征，因而 特征的质量很大程度上依赖于专家经验. 幸运的是，深 度学习为高光谱图像特征提取提供了一种较为理想的 解决方案［32］ . 具体来说，针对不同类型的高光谱数据， 深度学习技术都可以通过逐步聚合低层特征来自动地 获 得 抽 象 的 高 层 表 示 ，从 而 避 免 了 繁 杂 的 特 征 工 程［33，34］ . 在早期的深度学习方法中，Chen 等［35］ 首次通 过建立堆叠式自动编码器来提取高光谱图像的高层特 征. 随后，Mou等［36］ 借助循环神经网络模型来解决高光 谱图像分类问题. 而在最近的数年中，卷积神经网络成 为高光谱图像分类的有力工具之一［37，38］ . 基于卷积神 经网络的方法在分类性能方面一度优于基于支持向量 机的方法［39］ . 例如，Makantasis 等［40］ 借助卷积神经网络 模型同时编码高光谱图像的空间和光谱信息，并利用 多层感知机进行像素分类 . 与之类似，Zhang等［41］ 提出 了一种多维卷积神经网络来自动地提取多层级空谱特 征 . 此外，Lee等［42］ 设计了一种新颖的上下文深度卷积 神经网络模型 . 该方法通过探索近邻像素间的空谱关 系来得到最优的上下文信息 . 尽管基于卷积神经网络 的方法在一定程度上取得了较为理想的分类表现，但 这类方法仍存在一些不足. 首先，在传统的卷积神经网 络模型中，卷积核通常只能作用于形状规则的方形区 域上. 因此，这类模型往往无法自适应地捕捉高光谱图 像中不同地物区块间的几何变化［43］ . 同时，当卷积神经 网络在对不同图像区块进行卷积操作时，相应卷积核 的权重参数固定不变. 由于卷积核缺乏灵活性，使用这 种卷积方式可能会导致类别边界区域信息的损失 . 不 仅如此，传统的卷积神经网络模型无法直接对高光谱 图像中的长距离空间关系进行建模，这一定程度上限 制了模型的表征能力. 考虑到卷积神经网络在高光谱图像分类任务中的 固有缺陷，研究者提出使用一种新型深度模型，即图神 经网络（Graph Neural Network，GNN）［44］ ，用于高光谱图 像分类 . 近年来，图神经网络凭借其强大的学习能力， 在图数据分析和处理任务中取得了巨大的成功［45］ . 其 中，图卷积神经网络（Graph Convolutional Neural Net⁃ work，GCNN）［46］ 作为一种典型的图神经网络模型，在高 光谱图像分类任务中发挥着越来越重要的作用［47~49］ . 图卷积神经网络主要通过聚合来自节点邻域的信息来 不断更新节点表示，其中的图卷积操作可由图的邻域 结构自适应地控制. 因此，图卷积神经网络能够适用于 非欧几里得结构的不规则数据，从而可以灵活地保留 高光谱图像中不规则的类别边界信息. 此外，借助合适 的图结构，图卷积神经网络能够直接对远距离像素间 的空间关系进行建模 . 利用图卷积神经网络的上述优 势，Wan等［43］ 提出了一种多尺度动态图卷积网络，不仅 可以从多种空间尺度下分别挖掘高光谱图像中的空谱 信息，而且随着训练的进行，原始图信息能够被不断优 化，最终产生更强的网络表示 . 基于上述工作，Wan 等［22，50，51］ 还设计了多种改进的图卷积网络结构，并取得 了令人满意的表现. 同时，Hong等［52］ 提出的“小批次图 卷积网络”在保证分类精度的前提下，一定程度上缓解 了图卷积网络计算复杂度过高的问题.

本文主要对近年来应用于高光谱图像分类领域的 图神经网络模型进行系统的归纳和整理，并对它们的 主要思想和局限性做出详尽的分析 . 尽管目前已有高 光谱图像分类的相关综述［1，5］ ，但是此类工作主要关注 传统的深度学习（如卷积神经网络）和模式识别技术， 而对近年来关注度较高的图神经网络模型相关方法鲜 有涉及. 因此，本文旨在全面概述基于图神经网络的高 光谱图像分类方法，以帮助对该领域感兴趣的读者快 速、全面地了解相关研究的最新进展 . 具体地，本文根据图神经网络方法中图结构的构建方式、图卷积的类 型，以及模型架构和模型优化策略 4个方面，对现有的 基于图神经网络的高光谱图像分类方法进行整理和归 纳；同时，本文对常用的开源算法进行了广泛收集和性 能对比及分析，使得本文能够作为理解、使用和开发各 种实际应用的实践指南；最后，本文对当前方法进行总 结，分析它们的缺陷，并探讨未来可能的研究方向.

2　图神经网络在高光谱图像分类领域的研究现状

高光谱图像分类通常指像素级别的分类任务，即 确认图像中每一个像素的地物类别. 在过去的数年中， 以卷积神经网络为代表的深度学习方法凭借出色的空 谱特征提取能力，在高光谱图像分类领域取得了令人 欣慰的成果. 近年来，一种新型深度学习方法——图神 经网络开始出现在高光谱图像分类领域中 . 与卷积神 经网络模型不同，图神经网络能够直接处理不规则的 非欧几里得数据，其卷积操作不再被限制于方形的局 部区域中. 因此，在捕捉像素间关联信息方面具有更强 的灵活性. 图神经网络主要包括图卷积神经网络、循环 图神经网络、图自编码器和时空图神经网络 4类模型 . 其中，图卷积神经网络通常较为高效，且易与其他深度 模型组合. 因此，当前用于高光谱图像分类的图神经网 络模型主要为图卷积神经网络. 本节首先从图神经网络中的两个重要模块（即建 图和图卷积模块）出发，对当前的高光谱图像分类方法 进行整理和归纳 . 具体地，如图 2 所示，基于图神经网 络的高光谱图像分类方法首先需要建立图结构，这是 图神经网络方法的基础步骤，图结构的准确与否很大 程度上影响着模型的性能. 其中，根据图节点的类型可 以将当前方法大致分为两种，即以原始像素为节点建 图和以超像素为节点建图的方法. 接着，可以在上述图 结构的基础上进行图卷积操作，以提取高光谱图像中 的空谱特征. 这里，根据图卷积操作的类型可以将当前 方法分为两类，分别为基于空间域图卷积和基于谱域 图卷积的方法. 最后，可利用上述学到的空谱特征来预 测图像分类的结果。

高光谱图像分类通常指像素级别的分类任务，即 确认图像中每一个像素的地物类别. 在过去的数年中， 以卷积神经网络为代表的深度学习方法凭借出色的空 谱特征提取能力，在高光谱图像分类领域取得了令人 欣慰的成果. 近年来，一种新型深度学习方法——图神 经网络开始出现在高光谱图像分类领域中 . 与卷积神 经网络模型不同，图神经网络能够直接处理不规则的 非欧几里得数据，其卷积操作不再被限制于方形的局 部区域中. 因此，在捕捉像素间关联信息方面具有更强 的灵活性. 图神经网络主要包括图卷积神经网络、循环 图神经网络、图自编码器和时空图神经网络 4类模型 . 其中，图卷积神经网络通常较为高效，且易与其他深度 模型组合. 因此，当前用于高光谱图像分类的图神经网 络模型主要为图卷积神经网络. 本节首先从图神经网络中的两个重要模块（即建 图和图卷积模块）出发，对当前的高光谱图像分类方法 进行整理和归纳 . 具体地，如图 2 所示，基于图神经网 络的高光谱图像分类方法首先需要建立图结构，这是 图神经网络方法的基础步骤，图结构的准确与否很大 程度上影响着模型的性能. 其中，根据图节点的类型可 以将当前方法大致分为两种，即以原始像素为节点建 图和以超像素为节点建图的方法. 接着，可以在上述图 结构的基础上进行图卷积操作，以提取高光谱图像中 的空谱特征. 这里，根据图卷积操作的类型可以将当前 方法分为两类，分别为基于空间域图卷积和基于谱域 图卷积的方法. 最后，可利用上述学到的空谱特征来预 测图像分类的结果.

除此之外，图神经网络方法中的模型架构和优化策略也值得关注 . 本节从这两方面对当前基于图神经 网络的高光谱图像分类方法进行整理和归纳 . 具体来 讲，根据图神经网络是否与卷积神经网络等其他深度 模型协同运作，可以将当前的高光谱图像分类方法大 致分为混合型和单一型两种类型 . 而在模型优化策略 的选择方面，目前的图神经网络方法往往通过两种不 同的方式来更新网络模型的参数，即全批量梯度下降 法和小批量梯度下降法 . 表 2 对基于图神经网络的代 表性高光谱图像分类算法进行了汇总，并简要介绍了 算法的主要贡献和局限性.