图分类：结合胶囊网络Capsule和图卷积GCN（附代码）

2019 年 2 月 26 日 中国人工智能学会

【导读】图分类（预测图的标签）是图结构数据里一类重要的问题。它的应用广泛，可见于生物信息学、化学信息学、社交网络分析、城市计算以及网络安全。随着近来学界对于图神经网络的热情持续高涨，出现了一批用图卷积网络(Graph Convolutional Network， GCN)做图分类的工作。本文结合最近热点胶囊网（Capsule Networks）与GCN网络用于图分类。

胶囊网络是一种新兴的深层神经网络，其处理信息的方式类似于人脑。胶囊网络与卷积神经网络相反，虽然卷积神经网络是迄今为止应用最广泛的神经网络之一，但其未能考虑简单对象和复杂对象之间存在的关键空间层次结构。这导致了误分类并带来了更高的错误率。在处理简单的识别任务时，胶囊网络拥有更高的精度，更少的错误数量，并且不需要大量的训练模型数据。

题目：Capsule Neural Networks for Graph Classification using Explicit Tensorial Graph Representations

作者：Marcelo Daniel Gutierrez Mallea, Peter Meltzer, Peter J Bentley

【摘要】图分类是许多科学领域的一个重要问题。它处理多种任务，如根据蛋白质和化合物的功能或化学和结构性质将其分类。在有监督的情况下，这个问题可以被理解为学习一组标记图的结构、特征和特征之间的关系，并能够正确预测不可见图的标签或类别。当试图使用已有的分类算法时，由于需要固定大小的矩阵，但这些图的节点和边的数量可能会有很大的变化，因此这一任务出现了很大的困难。在前人工作的基础上，将显式张量表示与标准的基于图像的分类器相结合，我们提出了一种从给定集合中的每个图中提取固定尺寸张量信息并利用胶囊网络进行分类的图分类模型。我们这里考虑的图是无向的，并且在节点上具有分类特征。使用标准的基准化学和蛋白质数据集，我们证明了使用图的显式张量表示的图胶囊网络分类模型与当前最先进的graph kernels和GNN模型相比是有竞争力的，尽管只有有限的超参数搜索。

参考链接：

https://arxiv.org/abs/1902.08399

代码链接：

https://github.com/BraintreeLtd/PatchyCapsules

请关注专知公众号（点击上方蓝色专知关注）

后台回复“胶囊网络图分类” 就可以获取最新论文的下载链接~

引言

图形结构化数据广泛应用于分子表示、化学和生物信息学、社会网络分析、金融等领域。原因之一是数据的图形化表示不仅能够建模实体，而且能够建模实体之间的连接和关系;从而提供更丰富的信息。为了在这些领域开发成功的机器学习模型，我们需要能够利用图结构中固有的丰富信息以及图的节点和边[1]中包含的实体特征信息的技术。

本文研究了利用Capsule Networks [5]来探索有监督图分类的问题。我们的假设是，胶囊网络更适合判断那种对节点排列顺序敏感网络之间的相似性，从而提高分类性能。据我们所知，还没有公开的文献将显式核的图表示与胶囊网络相结合。我们的实验表明，在7个广泛使用的化学和蛋白质数据集上，我们的结果与其他当前最先进的方法相比很有竞争力。

为了展示文章在利用当前的graph表示方法并且将胶囊网络应用于图分类方面的贡献，本文首先回顾了图分类领域的相关工作。然后提供了描述提出的方法，分为Graph to Contextual Tensor 和Graph Capsule Network 两部分。第一部分主要是把graph变成向量表示，作为第二部分的输入。

接下来阐述了本文的三个实验，第一，研究不同标记方法对向量表示阶段的影响，第二，对我们的完整模型的性能与当前的先进方法的对比，第三，评估给定任务中胶囊网络的表示能力。在分析了我们的结果之后，阐述了结论和未来工作。

方法

我们通过考虑算法的两个不同阶段来展示文章中算法的结合。第一阶段为数据集中的每个子图生成一个矩阵表示，第二阶段为这些表示应用一个胶囊网络。

一、Graph to Contextual Tensor

第一部分主要是把graph 提取为向量表示，为了从图中提取张量，我们执行算法1中描述的步骤。（每一个子图的表示过程和GCN 图神经网络类似，都是表示为向量）

二、Graph Capsule Network

一旦我们有了图Xtr的张量表示，我们就可以使用一个重构的胶囊网络结构作为正则化方法。胶囊网络的架构如图所示。第一层是CNN，第二(primary caps)和第三(graphcaps)层是胶囊层。在图中，primary caps表示胶囊网络的第一层，这些胶囊与第一卷积层之间没有路由。图中的graph caps代表胶囊网络的第二层。在primary caps和graph caps之间有一个路由过程。这个迭代过程是这样的，每一个较低级别的胶囊将它的输入发送给较高级别的胶囊，如果这个胶囊与较低级别胶囊的输入一致，那么这个信息将在训练过程中被反向传播，加强这些胶囊之间的链接。

实验中数据集统计和结果比较

得到的表示可视化结果

结论与未来工作

本文已经测试了这样的假设：胶囊网络比CNN更适合于图分类的节点顺序不变性问题。在此过程中，我们提出并分析了一个模型，用于解决具有不同数量的类的离散节点标签的无向图集合的问题。结果表明，在所有7个基准数据集上，胶囊网络确实在此任务上优于CNN分类器。虽然胶囊网络的性能优于CNN，但由于需要学习的参数数量要多得多，因此它也需要更长的执行时间。在实验中，也发现胶囊网络的平均速度大约比CNN慢8倍。