中科院、华为等提出Vision GNN，只使用图神经网络进行视觉任务

2022 年 6 月 16 日 PaperWeekly

©作者 | 周春鹏

单位 | 浙江大学

研究方向 | 计算机视觉

网络结构在基于深度学习的计算机视觉系统中起着至关重要的作用。目前广泛应用的卷积神经网络和卷积神经转换器将图像视为网格或序列结构，难以灵活地捕捉不规则和复杂的目标。本文提出将图像表示为图（Graph）结构，并引入一种新的视觉图卷积（Vision GNN, ViG）体系结构来提取视觉任务的图级（Graph-Level）特征。

首先，将图像分割为多个块（patch），这些块被视为节点，并通过连接最近的邻居节点来构建一个图。基于图像的图表示（graph representation），通过建立 ViG 模型来实现所有节点之间的信息变换和交换。ViG 由两个基本模块组成：带有图卷积的Grapher模块，用于聚合和更新图信息；以及两层线性层的 FFN 模块（就是 MLP），用于节点特征变换。在不同的模型尺寸下，分别建立了各向同性（isotropic）结构和金字塔（ pyramid）结构。

在图像识别和目标检测任务上的大量实验证明了提出的 ViG 架构的优越性。希望本研究能对一般视觉任务上的神经网络进行开创性的研究，为今后的研究提供有益的启示和经验。

论文标题：

Vision GNN: An Image is Worth Graph of Nodes

论文链接：

https://arxiv.org/abs/2206.00272

动机

在视觉任务中，CNNs，Transformer，MLP 都取得了很好的效果。CNNs 利用了平移不变性和局部性（the shift-invariance and locality）使用滑动窗口提取特征；最近的 Transformer 和 MLP 将将图像视为一系列的 patches。上述的考虑都是基于规则网格或序列表示，本文尝试一种更灵活的图结构。计算机视觉的一个基本任务是识别图像中的物体。由于对象通常不是规则的方形，而以往的网络如 ResNet 和 ViT 中常用的网格或序列结构往往会造成冗余，难以处理这些不规则对象。

一个物体可以被看作是由各个部分组成的，例如：人大致可以分为头、上身、四肢。这些由关节连接的部分自然形成一个图结构。通过分析这个图结构，我们能够识别出人。此外， 图是一种广义的数据结构，网格和序列可以看作是图的一种特殊情况。将图像视为图形对于视觉感知来说更加灵活和有效。

因此，本文基于图像的图表示（graph representation）提出了 vision graph neural network (ViG)。本文应该是首次将图神经网络用于视觉任务，同时能取得很好的效果，在 ImageNet 分类任务上超过了 CNN (ResNet), MLP (CycleMLP) 和 transformer (Swin-T) 。

方法

2.1 ViG Block

2.1.1 Graph Representation of Image

对于一张图片，首先将图片划分为 N 个 patch，然后将进行特征变换得到每一个 patch 对应的特征，因此有：。这些特性可以看作是一组无序的节点，表示为。对于每一个节点找到穷最近的 K 个邻居，然后加入一条有向边从到。因此就得到了一个图结构，其中 E 表示所有的边集合。通过将图像视为图数据，因此可以利用 GCN 提取其表征。

2.1.2 Graph-level Processing

图卷积层通过聚合相邻节点的特征来实现节点之间的信息交换。具体来说，图卷积的操作如下：

其中和是聚合和更新操作中的可学习参数。更具体地说，聚合运算是通过聚合邻居节点的特征来计算节点的表示：

其中表示节点邻居集合。为了方便和高效，这里采用 max-relative graph convolution：

上面的处理可以表示为：

更进一步，引入了多头注意力。首先将聚集特征分成 h 个头，然后分别用不同的权重更新这些头。所有的头可以并行更新，并连接为最终值：

新多头更新操作使模型能够在多个表示子空间中更新信息，有利于特征的多样性

2.1.3 ViG block

以往的 GCNs 通常重复使用多个图卷积层来提取图数据的聚合特征。深度 GCNs 的过平滑现象会降低节点特征的判别性，导致视觉识别性能下降，如下图所示。其中特征多样性通过判断，其中。为了缓解这个问题，在 ViG 块中引入了更多的特征变换和非线性激活。

本文在图卷积前后应用线性层，将节点特征投影到同一个域，增加特征多样性。在图卷积后插入一个非线性激活函数以避免层坍塌。我们称升级后的模块为 Grapher 模块。在实际应用中，将 Grapher 模块表示为：

为了进一步提高特征转换能力和缓解过平滑现象，在每个节点上使用前馈网络 (FFN)。FFN 模块是一个简单的多层感知器，有两个完全连接的层：

由 Grapher 模块和 FFN 模块叠加而成的 ViG 块是构成网络的基本构建单元。因此构建面向视觉任务的 ViG 网络。与 ResGCN 相比，ViG 随着层的深入能够保持特征多样性，学习出判别性的表征。

2.2 Network Architecture

在计算机视觉领域，常用的 transformer 通常是 isotropic 的架构（如 ViT），而 CNN 更喜欢使用 pyramid 架构（如 ResNet）。为了与其他类型的神经网络进行广泛的比较，本文为 ViG 构建了两种网络结构，即各向同性结构和金字塔结构。

2.2.1 Isotropic architecture

各向同性架构意味着主体在整个网络中具有大小和形状相同的特征，如 ViT 和 ResMLP。本文构建了三种不同模型尺寸的各向同性 ViG 架构，分别为 ViG-ti、S 和 B，节点数设为 N =196。为了逐渐扩大接收场，这三种模型中随着层深的增加，邻居节点数 K 从 9 线性增加到 18。头的数量默认设置为 h = 4。

2.2.2 Pyramid architecture

金字塔架构考虑了图像的多尺度特性，即随着层越深提取空间尺寸越小的特征，如 ResNet 和 PVT。经验证据表明，金字塔结构对视觉任务是有效的。因此，本文利用先进的设计和建立了四个版本的金字塔 ViG 模型。

2.2.3 Positional encoding

为了表示节点的位置信息，在每个节点特征中添加一个位置编码向量：

上式所描述的绝对位置编码应用于各向同性和金字塔结构。对于金字塔 ViG，进一步使用 Swin Transformer 等高级设计，例如相对位置编码。对于节点 i 和 j，它们之间的相对位置距离为，将其加入到特征距离中构建图。

实验

具体实验设置和分析请参考原文。

3.1 Main Results on ImageNet

3.2 Ablation Study

3.3 Visualization

为了更好地理解 ViG 模型是如何工作的，在 v - s 中可视化构造的图结构。在上图中，展示了两个不同深度的样本的图形（第 1 块和第 12 块）。五角星是中心节点，相同颜色的节点是它的邻居。两个中心节点被可视化为绘制所有的边将是混乱的。可以观察到，提出的模型可以选择与内容相关的节点作为一阶邻居。 在浅层中，倾向于根据颜色、纹理等低级和局部特征来选择邻居节点。在深层，中心节点的邻居语义性更强，属于同一类别。 因此 VIG 网络可以通过其内容和语义表示将节点逐渐连接起来，帮助更好地识别对象。