【WSDM2022】具有分层注意力的表示学习

图结构的开发是有效学习保存有用信息的节点表示的关键。图的一个显著特性是，从全局的角度来看，存在一个潜在的节点层次分组，其中每个节点根据其相邻节点组成的上下文来表示其对特定组的隶属关系。在对邻域结构建模时，以往的研究大多忽略了这些潜在群体和节点对不同群体的隶属关系，更不用说层次结构了。因此，它们不能全面理解图中不同上下文下的节点。本文提出了一种新的层次注意力隶属度模型用于图嵌入，其中每个节点的潜在隶属度是根据其相邻上下文动态发现的。在聚合相邻状态生成节点嵌入时，需要同时进行群级和个体级的注意力。我们引入结构约束来显式规范每个节点的推断成员关系，这样就捕获了定义良好的分层分组结构。该模型在包括引文网络和社会网络在内的各种图的节点分类和链接预测任务上优于一组先进的图嵌入解决方案。定性评价将学习到的节点嵌入和推断出的成员关系可视化，证明了成员层次的概念，使图中可解释的嵌入学习成为可能。

https://www.zhuanzhi.ai/paper/b5f38dadd4dc88b2ce912c0e00c5c17b