【博士论文】无监督深度图聚类中的自适应表示学习，144页pdf

聚类是数据分析中的主要而又具有挑战性的任务，旨在将相似的样本划分到同一组，而将不相似的样本划分到不同的组。近期，由于在无监督深度图聚类方面的突破，传统的卷积神经网络（例如，自编码器（AE））和图卷积网络（GCN）的结合已经达到了最先进的性能。其中，自编码器提取节点属性特征，而图卷积网络捕获拓扑图特征。然而，现有方法没有充分利用来自特征嵌入和聚类分配的现有信息，从而限制了它们的性能。鉴于这一限制，本论文专注于无监督深度图聚类中的自适应表示学习。主要工作涉及自适应嵌入\分配\图表示学习，总结如下：

首先，我们提出了一种名为注意力驱动图聚类网络（AGCN）的新颖无监督深度图聚类方法，以解决以下问题：现有工作(𝑖)缺乏一种灵活的组合机制来自适应地融合来自自编码器和图卷积网络的两种特征，从而增强表示学习能力；以及(𝑖𝑖)忽视了嵌入在不同层的多尺度信息，导致后续的聚类分配效果不佳。具体而言，AGCN主要包括两个注意力驱动的特征融合模块，即AGCN异质性融合模块（AGCN-H）和AGCN尺度融合模块（AGCN-S）。这两个模块都利用基于注意力的机制动态地测量相应特征的重要性。AGCN-H自适应地合并自编码器特征和图卷积网络特征，而AGCN-S动态地连接不同层的多尺度特征。为了以无监督的方式进行训练，我们设计了一个能够直接产生聚类分配结果的统一学习框架。与现有的无监督深度图聚类方法相比，我们的方法更为灵活和有效，因为它考虑了网络中嵌入的丰富和有区分性的信息来自适应地学习嵌入表示。在常用的基准数据集上的大量定量和定性结果验证了我们的AGCN始终超越最先进的方法。此外，我们还进行了一系列消融研究来验证我们方法的效率和有效性。

然而，上述提出的模型在面对从自编码器和图卷积网络学到的两种概率分布时存在决策困境，即应选择哪一种作为最终的聚类分配结果。据我们所知，这是先前的无监督深度图聚类方法中普遍存在的一个未解决的问题。为了应对这一挑战，我们提出了一种名为深度注意力引导的双重自监督图聚类（DAGC）的新方法。具体而言，我们设计了一个分布融合模块，该模块利用这两种聚类分配来自适应地学习分配表示，从而获得最终的聚类结果。为了更好地探索来自聚类分配的现有信息，我们开发了一个双重自监督解决方案，包括一个带有Kullback-Leibler散度损失的软自监督策略和一个带有伪监督损失的硬自监督策略来指导整个网络训练。在九个基准数据集上的定量和定性实验和分析表明，我们的方法始终超越最先进的方法。此外，我们还提供了消融研究和可视化，以验证DAGC网络的有效性和优势。

现有的基于GCN的图聚类网络在很大程度上依赖于预定义的图。如果初始图无法真实且精确地反映其在嵌入空间上的拓扑结构，这些网络可能会失败。为了解决上述问题，我们提出了一种新颖的嵌入引导的图优化聚类网络（EGRCNet），该网络能够自适应地使用学习到的嵌入来改进初始图，从而实现更好的聚类性能。具体来说，我们首先利用普通自编码器和图卷积网络模块来自适应地整合节点属性和拓扑结构信息，以学习潜在特征表示。接着，我们探索嵌入空间上的几何结构信息来构造一个邻接图，然后开发一个图融合架构，动态地将该图与初始图融合。最后，我们最小化多个派生分布之间的Jeffreys散度损失函数，以无监督的方式进行网络训练。在七个常用的基准数据集上的广泛实验表明，所提出的方法始终超越了几种最先进的方法。

以下声明突出了这些工作的重要性：在无监督的深图聚类中进行自适应表示学习对于人工普适性智能至关重要，因为它使机器能够在没有人类注释的情况下从数据中学习复杂的模式和关系。通过利用无监督的自适应表示学习技术，人工普适性智能系统可以发展其数据的内部表示能力，并适应新的环境、任务和情境。这种能力对于理解复杂和非结构化数据至关重要。最后但并非最不重要的是，无监督的自适应表示学习是向开发能够像人类一样进行研究和推断的机器迈出的关键一步，为AI在从医疗保健到金融到娱乐的广泛领域开辟了新的可能性。在未来，我们将继续为人工普适性智能社区做出贡献，继续研究大规模数据集、先进的表示学习和高效的信息传播。