Federated graph learning (FGL) has emerged as a promising paradigm for collaborative graph representation learning, enabling multiple parties to jointly train models while preserving data privacy. However, most existing approaches assume homogeneous client models and largely overlook the challenge of model-centric heterogeneous FGL (MHtFGL), which frequently arises in practice when organizations employ graph neural networks (GNNs) of different scales and architectures.Such architectural diversity not only undermines smooth server-side aggregation, which presupposes a unified representation space shared across clients' updates, but also further complicates the transfer and integration of structural knowledge across clients. To address this issue, we propose the Federated Graph Knowledge Collaboration (FedGKC) framework. FedGKC introduces a lightweight Copilot Model on each client to facilitate knowledge exchange while local architectures are heterogeneous across clients, and employs two complementary mechanisms: Client-side Self-Mutual Knowledge Distillation, which transfers effective knowledge between local and copilot models through bidirectional distillation with multi-view perturbation; and Server-side Knowledge-Aware Model Aggregation, which dynamically assigns aggregation weights based on knowledge provided by clients. Extensive experiments on eight benchmark datasets demonstrate that FedGKC achieves an average accuracy gain of 3.88% over baselines in MHtFGL scenarios, while maintaining excellent performance in homogeneous settings.


翻译:联邦图学习(FGL)已成为一种有前景的协同图表示学习范式,允许多方在保护数据隐私的同时联合训练模型。然而,现有方法大多假设客户端模型同质,且普遍忽视了实践中常见的模型中心化异构联邦图学习(MHtFGL)挑战——即当各组织采用不同规模和架构的图神经网络(GNNs)时,这种架构差异不仅破坏了以客户端更新共享统一表示空间为前提的服务器端平滑聚合,还进一步加剧了跨客户端结构知识的迁移与整合难度。为解决此问题,我们提出联邦图知识协同(FedGKC)框架。FedGKC在客户端异构架构并存的情况下,通过在各客户端引入轻量级副驾驶模型以促进知识交换,并采用两种互补机制:客户端自-互知识蒸馏——通过多视图扰动下的双向蒸馏在本地模型与副驾驶模型间传递有效知识;以及服务器端知识感知模型聚合——依据客户端提供的知识动态分配聚合权重。在八个基准数据集上的大量实验表明,FedGKC在MHtFGL场景下相比基线方法平均准确率提升3.88%,同时在同构设定下保持优异性能。

0
下载
关闭预览

相关内容

IEEE TPAMI | 基于标注偏差估计的实例相关PU学习
专知会员服务
12+阅读 · 2021年10月23日
专知会员服务
36+阅读 · 2021年7月9日
AAAI2021 | 学习预训练图神经网络
专知会员服务
116+阅读 · 2021年1月28日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
1+阅读 · 2025年12月31日
VIP会员
相关VIP内容
IEEE TPAMI | 基于标注偏差估计的实例相关PU学习
专知会员服务
12+阅读 · 2021年10月23日
专知会员服务
36+阅读 · 2021年7月9日
AAAI2021 | 学习预训练图神经网络
专知会员服务
116+阅读 · 2021年1月28日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员