Recent years have witnessed significant advancements in machine learning methods on graphs. However, transferring knowledge effectively from one graph to another remains a critical challenge. This highlights the need for algorithms capable of applying information extracted from a source graph to an unlabeled target graph, a task known as unsupervised graph domain adaptation (GDA). One key difficulty in unsupervised GDA is conditional shift, which hinders transferability. In this paper, we show that conditional shift can be observed only if there exists local dependencies among node features. To support this claim, we perform a rigorous analysis and also further provide generalization bounds of GDA when dependent node features are modeled using markov chains. Guided by the theoretical findings, we propose to improve GDA by decorrelating node features, which can be specifically implemented through decorrelated GCN layers and graph transformer layers. Our experimental results demonstrate the effectiveness of this approach, showing not only substantial performance enhancements over baseline GDA methods but also clear visualizations of small intra-class distances in the learned representations. Our code is available at https://github.com/TechnologyAiGroup/DFT


翻译:近年来,图上的机器学习方法取得了显著进展。然而,如何有效地将知识从一个图迁移到另一个图仍然是一个关键挑战。这凸显了对能够将源图提取的信息应用于未标记目标图的算法的需求,这一任务被称为无监督图域适应(GDA)。无监督GDA的一个主要难点是条件偏移,它会阻碍可迁移性。本文表明,仅当节点特征之间存在局部依赖性时,才能观察到条件偏移。为支持这一论断,我们进行了严格的理论分析,并进一步提供了当使用马尔可夫链对依赖节点特征建模时GDA的泛化界。在理论发现的指导下,我们提出通过去相关节点特征来改进GDA,这可以通过去相关图卷积网络层和图Transformer层具体实现。实验结果表明了该方法的有效性,不仅显示出相对于基线GDA方法的显著性能提升,还清晰可视化了所学表征中较小的类内距离。我们的代码发布于https://github.com/TechnologyAiGroup/DFT。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年6月19日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员