Graphs have been widely used in data mining and machine learning due to their unique representation of real-world objects and their interactions. As graphs are getting bigger and bigger nowadays, it is common to see their subgraphs separately collected and stored in multiple local systems. Therefore, it is natural to consider the subgraph federated learning setting, where each local system holds a small subgraph that may be biased from the distribution of the whole graph. Hence, the subgraph federated learning aims to collaboratively train a powerful and generalizable graph mining model without directly sharing their graph data. In this work, towards the novel yet realistic setting of subgraph federated learning, we propose two major techniques: (1) FedSage, which trains a GraphSage model based on FedAvg to integrate node features, link structures, and task labels on multiple local subgraphs; (2) FedSage+, which trains a missing neighbor generator along FedSage to deal with missing links across local subgraphs. Empirical results on four real-world graph datasets with synthesized subgraph federated learning settings demonstrate the effectiveness and efficiency of our proposed techniques. At the same time, consistent theoretical implications are made towards their generalization ability on the global graphs.


翻译:在数据挖掘和机器学习中广泛使用图表,这是因为它们独特地代表了现实世界的物体及其相互作用。由于图表现在正在变得越来越大,因此看到它们的子集单独收集并存储在多个本地系统中是常见的。因此,自然会考虑子集联学习设置,每个本地系统都拥有一个可能与整个图表分布有偏差的小型子集。因此,子集成学习的目的是在不直接分享其图形数据的情况下,合作训练一个强大和可通用的图形开采模型。在这项工作中,随着子集成的子集成学习的新而现实的设置,我们提出了两种主要技术:(1) FedSage,它以FedAvg为基础,培训一个图形学模型,以整合节点特征、链接结构以及多个本地子集图上的任务标签;(2) FedSage+,它与FedSage一起培训一个缺失的邻居发电机,以便处理本地子集缺失的链接。在四个真实世界的图表数据集中以合成的子集联成的子集化化学习环境,我们提出了两种主要技术的效能和效率。

0
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
专知会员服务
42+阅读 · 2020年12月18日
多标签学习的新趋势(2020 Survey)
专知会员服务
41+阅读 · 2020年12月6日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
201+阅读 · 2020年2月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
3+阅读 · 2017年9月12日
Arxiv
7+阅读 · 2021年10月19日
Arxiv
10+阅读 · 2021年3月30日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
3+阅读 · 2018年2月7日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
3+阅读 · 2017年9月12日
Top
微信扫码咨询专知VIP会员