【CMU博士论文】图结构和神经网络学习，94页pdf

基于图的学习侧重于图形结构数据的建模。其重要应用包括基于分子结构分析化学化合物、基于辐射传感器网络数据预测太阳能农场的产出、根据城市间的地理关系和社交网络互动预测流行病爆发等。基于图的学习算法已经迅速发展，解决了以下基本挑战：

• 编码图中每个单独节点和节点组合的丰富信息，也被称为图表示学习挑战； • 在图只部分可观察时恢复缺失的边，也被称为图完成挑战； • 在标记节点非常稀疏的图形设置中利用主动学习，也被称为标签稀疏挑战； • 提高在非常大的图上进行训练和推断的可行性，也被称为扩展挑战。

本论文旨在通过以下主要贡献从上述各个方面增强基于图的机器学习：

• 用于二分图边缘预测的图卷积矩阵分解：对于一类特定的图，即二分图，传统的矩阵分解方法不能有效地利用节点两组内的相似度测量等边信息。因此，我们建议使用图卷积来增强学习到的分解表示与结构化的边信息，以获得更好的预测精度。

• 使用图神经网络（GNNs）进行通用边缘预测：虽然GNNs在节点分类中取得了很大成功，但在边缘预测方面并没有达到相匹配的性能水平。这种现象的一个可能解释是GNNs中的潜在嵌入严重依赖于输入节点特征，如果这些输入特征质量不高，或者对于手头的预测任务而言噪声较大，那么就无法避免次优性能。我们建议通过结合使用传统的GNN和Transformer模型来解决这个问题，这可以通过Transformer模型中的灵活位置嵌入来改进节点的嵌入。

• 用于节点分类的图增强主动学习（Graph-AL）：主动学习已被深入研究，以解决标签稀疏问题，并已成功应用于文本/视频/音频数据，但没有应用于图。流行的主动学习策略可能不适用于图。例如，基于密度的文档选择将所有候选文档视为不相关的实例，忽略了输入图中节点之间的依赖结构。我们提出了第一个专为图神经网络量身定制的基于图的主动学习方法，它同时考虑节点内部特征和节点间连接，以便在主动学习中进行节点选择。

大规模基于图的学习的各种实际应用：我们已将基于图的学习应用于各种实际问题，包括基于多图的协同过滤，跨语言的基于图的迁移学习，基于图的深度学习用于流行病学预测，图增强节点分类，边缘检测和知识库完成；在这些领域我们分别获得了最先进的结果（Chang等，2017; Liu等，2017a; Wu等，2018b, c; Xu等，2018b）。