(KDD'21) 异构图神经网络到底哪家强？清华、微软、阿里、中科院等推出HGB基准！

2021 年 11 月 9 日 学术头条

异构图在工业界的诸多场景有着广泛的应用，随着图神经网络的兴起，许多异构图神经网络也如雨后春笋般涌现出来。然而由于缺乏有效的基准数据集，很多工作难以公平比较。今年 KDD上，来自清华、微软、阿里、中科院、宾大等单位的合作者共同推出 Heterogenous Graph Benchmark（HGB）和强基线方法 Simple-HGN，希望可以推动该领域更快更健康地发展。

文章链接： http://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Lv-et-al-HeterGNN.pdf

如果你是数据挖掘领域的研究者或者算法工程师，那么你对“异构图（Heterogenous Graph）”或者“异构信息网络（Heterogenous Information Network）”已经并不陌生。简单地说，与一般的（同构）图不同，异构图中的点和边分为不同类型，甚至带有不同种类的信息。例如下面的三个例子中的学术网络（来自于 UCLA 的孙怡舟老师等人的讲稿），如果将会议、论文名、作者当成同一张图中的点，那么不同的类型自然拥有不同的语义信息，这也会成为我们构建模型时考虑的重要因素。

随着以 GCN 为代表的图神经网络在近几年 “ 爆火 ” ，越来越多的人将目光转向了异构图神经网络。其中较为著名的模型有异构图注意力网络（ HAN ）、 Graph transformer network（ GTN ）、早期异构图神经网络（ HetGNN ）、元路径集成图神经网络（ MAGNN ）、 Heterogeneous graph transformer（HGT）、基于注意力异构结构学习图神经网络（ HetSANN ）、关系结构异构图神经网络（ RSHN ）、关系图卷积网络（ RGCN ）和用于推荐的知识图卷积网络（ KGCN ）、知识图注意力网络（ KGAT ）等十余种。

然而令人遗憾的是，异构图往往和目标数据高度耦合，许多工作使用了完全不同的数据集，或者在相同数据集上设定不同，这使得他们难以相互比较。那么，异构图神经网络到底哪家强？

今年一篇 KDD 的文章里，来自清华的唐杰组、微软研究院的东昱晓、阿里巴巴达摩院的周畅以及来自中科院和宾大的研究者一起仔细测评了每一种模型。

随着同构图领域 OGB 基准的推出，图神经网络有了一决高下的舞台；文章也推出了横跨三大任务 11 个数据集的异构图领域的基准 Heterogenous Graph Benchmark（HGB）和强基线方法 Simple-HGN。

令人担忧的测评结果

文章的作者们首先对现有的异构图神经网络进行了详尽的分析，现有的工作大多数都是开源的，然而由于缺乏统一的测评基准，一些实现的小问题难以被发现，基线方法很多时候也没有被充分调优。

上图是文章展示的部分工作的复现结果，带星号的是文中报告的结果。令人欣慰的是绝大部分本身的可复现性良好——但是同样有一个令人担忧的现象，同构图的方法 GCN、GAT 等的表现被大大低估了。另外，少部分工作还存在实现上的错误，例如数据泄露等。

异构图测评基准 HGB

HGB 收集了在 3 个任务上共收集了 11 个中等规模异构图数据集，三个任务分别是节点分类、链接预测、基于知识图谱的推荐，相关数据集的统计信息如图所示：

为了真正凸显图神经网络结构的影响，排除其他的因素的干扰， HGB 的测评流程中将模型训练分为三个部分：特征预处理、图神经网络、下游任务的解码器和损失函数。文章发现合适的预处理方法或者下游任务解码器对最终结果的影响甚至大于结构的改进本身，因此预设了多种不同的处理方法，研究人员可以在验证集上选取与自己的模型配合最好的预处理和解码器。

目前，HGB 的网站已经上线于 biendata，网址为 https://www.biendata.xyz/hgb 。